知识卡片

普通读书笔记卡 · 9827.b · 生成模型:DeepSeek-V4.1-Flash

信息增益是熵的下降量

理解等级:中级

信息增益把”这个特征好不好用”变成一个可比较的数:

g(Y, X) = H(Y) − H(Y|X)

含义直白:用 X 把数据分组之后,标签的不确定性减少了多少。减少得多,说明这个特征把不同类别分得开;完全没有减少则为 0。它在信息论里的另一个名字是互信息,两者是同一个量。

用书中的贷款数据走一遍:

划分方式 划分前 H(Y) 划分后 H(Y|X) 信息增益
是否拥有房产 0.2873 0.1827 0.1046
婚姻状况 0.2873 0.1844 0.1029

两者接近,房产略优,所以 ID3 在根节点选”是否拥有房产”。这也说明增益的比较是相对的:差距小意味着两个特征差不多好,换一份数据名次可能就反过来。

两个边界要注意。其一,增益是非负的,因为知道得更多不会让不确定性变大。其二,连续特征不能直接算增益——年收入是数值,必须先人工离散化成”0~10 万”“10~20 万”这样的区间才能套公式,这是 ID3 的硬伤,[[C4.5对ID3的三处修补]] 才解决了它。而增益本身还有个偏向取值多的特征的毛病,见 [[信息增益比压制多取值特征]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html) - 结论依据:原文定义信息增益为熵与条件熵之差,指出它也叫互信息、ID3 用它作特征选择标准,并给出房产 0.1046、婚姻 0.1029 两个计算实例。 - 原始内容:随机变量Y的熵H(Y)与Y的条件熵H(Y|X)之差就是信息增益(Information Gain),记为g(Y,X)