← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9827.a · 生成模型:DeepSeek-V4.1-Flash

用熵度量不确定性

理解等级:中级

熵回答的是”这个随机变量有多难猜”。若 Y 有 K 个可能取值、第 i 个取值的概率为 p_i,则

H(Y) = −Σ p_i · log p_i

前置概念是自信息 −log p:一件事越不可能发生,一旦发生带来的信息量越大;熵就是自信息的期望。两条边界要先记住:所有样本同属一类时 p=1、log1=0,熵为 0(最纯);K 类均匀分布时熵最大,为 log K(最乱)。

条件熵衡量”知道 X 之后 Y 还剩多少不确定性”:

H(Y|X) = Σ_x p(x) · H(Y|X=x)

也就是先按 X 的取值把数据分组,各组分别算熵,再按各组样本占比加权平均。注意是加权平均而不是简单平均——样本多的分组话语权更大。

书中贷款例子:8 位客户按是否逾期分两类,H(Y)=0.2873;按”是否拥有房产”分组后加权得到 H(Y|房产)=0.1827,不确定性下降了,这个下降量就是 [[信息增益是熵的下降量]] 要用的原料。熵的对数底取 2 时单位是比特,取 e 时是纳特,底的选择只改变数值尺度,不改变”谁大谁小”的比较结论。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 决策树 6.2.1 信息增益 · 查看原书依据

      日常生活中,当我们要搞清楚某件事情时,这件事情的不确定性越大,我们需要了解的信息就越多。由此可以看出,一条信息的信息量大小和它的不确定性有直接关系。受此启发,人们就拿不确定性这个量来度量信息量的大小。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html) - 结论依据:原文先由"不确定性越大需要的信息越多"引出熵的定义,再依次给出联合熵、条件熵,并说明条件熵"用来衡量在已知随机变量X的条件下,随机变量Y的不确定性"。 - 原始内容:日常生活中,当我们要搞清楚某件事情时,这件事情的不确定性越大,我们需要了解的信息就越多。由此可以看出,一条信息的信息量大小和它的不确定性有直接关系。受此启发,人们就拿不确定性这个量来度量信息量的大小。