← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9809.j · 生成模型:DeepSeek-V4.1-Flash

信息熵:不确定性的比特数

理解等级:中级

H(X)=−Σx p(x)log2 p(x),其中 p(x)=P(X=x),求和遍历 X 的所有取值,单位是比特(约定 0log0=0)。它度量随机变量的不确定性:分布越均匀越难猜,熵越大;某个取值概率接近 1 时几乎没有悬念,熵接近 0。

单个事件的信息量用自信息 −log2 p(x) 表示:概率越小,它一旦发生带来的信息越多;熵正是自信息的概率加权平均。

二元情形 H(p)=−p log2p−(1−p)log2(1−p):p=0.5 时取最大值 1 比特,p=0 或 p=1 时为 0,曲线关于 0.5 对称。

上界:H(X)≤log2|X|(|X| 为取值个数),等号仅在均匀分布 p(x)=1/|X| 时成立——这把“越平均越不确定”写成了可比较的不等式。

用途:决策树 ID3、C4.5 以熵为度量,用分裂前后熵的下降(信息增益)挑选特征,一个节点内类别越混杂熵越高。

边界:熵只依赖概率分布,与取值本身的大小无关;连续变量要换成微分熵,其取值可为负,不能再当“比特数”解释。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第1章 概率统计与应用数学基础知识(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0023.html) - 结论依据:原文给出熵作为不确定性与无序程度的测度、二元熵在 p=0.5 处取最大、均匀分布时达到上界,并指出 ID3、C4.5 以熵为分类度量。 - 原始内容:从图1-11可以看出,当p(x)=0.5时,熵达到最大,不确定性达到最大;当p(x)=0或者p(x)=1时,熵最小,不确定性最小。