知识卡片
信息增益是熵的下降量
信息增益把”这个特征好不好用”变成一个可比较的数:
g(Y, X) = H(Y) − H(Y|X)
含义直白:用 X 把数据分组之后,标签的不确定性减少了多少。减少得多,说明这个特征把不同类别分得开;完全没有减少则为 0。它在信息论里的另一个名字是互信息,两者是同一个量。
用书中的贷款数据走一遍:
| 划分方式 | 划分前 H(Y) | 划分后 H(Y|X) | 信息增益 |
|---|---|---|---|
| 是否拥有房产 | 0.2873 | 0.1827 | 0.1046 |
| 婚姻状况 | 0.2873 | 0.1844 | 0.1029 |
两者接近,房产略优,所以 ID3 在根节点选”是否拥有房产”。这也说明增益的比较是相对的:差距小意味着两个特征差不多好,换一份数据名次可能就反过来。
两个边界要注意。其一,增益是非负的,因为知道得更多不会让不确定性变大。其二,连续特征不能直接算增益——年收入是数值,必须先人工离散化成”0~10 万”“10~20 万”这样的区间才能套公式,这是 ID3 的硬伤,[[C4.5对ID3的三处修补]] 才解决了它。而增益本身还有个偏向取值多的特征的毛病,见 [[信息增益比压制多取值特征]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第06章 决策树
原书出处 · 1 处
- 第6章 决策树 6.2.1 信息增益 · 查看原书依据
随机变量Y的熵H(Y)与Y的条件熵H(Y|X)之差就是信息增益(Information Gain),记为g(Y,X)
参考来源
- 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html)
- 结论依据:原文定义信息增益为熵与条件熵之差,指出它也叫互信息、ID3 用它作特征选择标准,并给出房产 0.1046、婚姻 0.1029 两个计算实例。
- 原始内容:随机变量Y的熵H(Y)与Y的条件熵H(Y|X)之差就是信息增益(Information Gain),记为g(Y,X)