知识卡片
信息增益:用熵降挑选划分特征
有了熵,就能给“该切哪一列”定个量化标准。先算整个样本集关于类别标签的熵 I(s1,…,sm):把 m 个类别按占比加权求自信息。再假设用特征 A 切分,A 有 v 个取值就把样本分成 v 个子集,每个子集有自己的熵,按子集样本数占比加权求和得到切分后的期望信息 E(A);占比越大,该子集在期望里的话语权越重,而子集内类别越纯其熵越小。
两者的差 Gain(A)=I(s1,…,sm)−E(A) 就是信息增益,含义是“知道 A 的取值后,整体不确定性被压缩了多少”。具有最高增益的特征被选作当前节点的测试属性,并对它的每个取值建一个分支。
边界:增益天然偏爱取值个数多的特征(例如给每条样本一个唯一 ID),因为那样子集熵被压到很低——这正是 C4.5 改用增益率要纠正的偏差(见[[C4.5的信息增益率:纠正多值偏好]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 决策树的发展 · 查看原书依据
它是由于知道属性A的值而导致的熵的期望压缩。具有最高信息增益的特征就可选作给定集合S的测试属性。创建一个节点,并以该特征标记,对特征的每个值创建分支,并据此划分样本。
参考来源
- 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html)
- 结论依据:原文给出类别熵、切分后的期望信息 E(A) 与公式 Gain(A)=I(s1,…,sm)−E(A),称其为“熵的期望压缩”,并规定用最高增益特征作测试属性,直接支撑本卡解释。
- 原始内容:它是由于知道属性A的值而导致的熵的期望压缩。具有最高信息增益的特征就可选作给定集合S的测试属性。创建一个节点,并以该特征标记,对特征的每个值创建分支,并据此划分样本。