知识卡片
熵是不确定性的度量
信息熵把”一条消息有多意外”压缩成一个数:对随机变量的每个取值,用它的概率乘以该概率的对数,求和后取负,即 -Σ p(x)·log p(x)。概率分布越平均、越难猜,熵越大;某个结果几乎必然发生、很好猜,熵就接近 0。书上用两条消息对比:”外面下雨”很平常,信息量小;”见到外星人”极罕见,听到后要更新大量认知,信息量就大——这说明小概率事件承载的信息多。把单个变量扩成一对变量得到联合熵,衡量两个变量共同的不确定性;在已知 X 的前提下 Y 还剩多少不确定性是条件熵,它等于联合熵减去 X 的熵。使用时注意对数的底决定单位(比特或纳特),跨界比较前要先统一。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 你必须知道的一些基础知识 · 查看原书依据
信息越少,事件(变量)的不确定性越大,它的信息熵也就越大,搞明白该事件所需要的额外信息就越多,也就是说搞清楚小概率事件所需要的额外信息较多
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第1章 你必须知道的一些基础知识(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00006.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「信息越少,事件(变量)的不确定性越大,它的信息熵也就越大,搞明白该事件所需要的额……」
- 原始内容:信息越少,事件(变量)的不确定性越大,它的信息熵也就越大,搞明白该事件所需要的额外信息就越多,也就是说搞清楚小概率事件所需要的额外信息较多