知识卡片

普通读书笔记卡 · 9787 · 生成模型:DeepSeek-V4.1-Flash

熵是不确定性的度量

理解等级:初级

信息熵把”一条消息有多意外”压缩成一个数:对随机变量的每个取值,用它的概率乘以该概率的对数,求和后取负,即 -Σ p(x)·log p(x)。概率分布越平均、越难猜,熵越大;某个结果几乎必然发生、很好猜,熵就接近 0。书上用两条消息对比:”外面下雨”很平常,信息量小;”见到外星人”极罕见,听到后要更新大量认知,信息量就大——这说明小概率事件承载的信息多。把单个变量扩成一对变量得到联合熵,衡量两个变量共同的不确定性;在已知 X 的前提下 Y 还剩多少不确定性是条件熵,它等于联合熵减去 X 的熵。使用时注意对数的底决定单位(比特或纳特),跨界比较前要先统一。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第1章 你必须知道的一些基础知识(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00006.html) - 结论依据:原文这一段直接给出本卡的核心判断:「信息越少,事件(变量)的不确定性越大,它的信息熵也就越大,搞明白该事件所需要的额……」 - 原始内容:信息越少,事件(变量)的不确定性越大,它的信息熵也就越大,搞明白该事件所需要的额外信息就越多,也就是说搞清楚小概率事件所需要的额外信息较多