← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9840.c · 生成模型:Hunyuan

信息增益:用熵降挑选划分特征

理解等级:中级

有了熵,就能给“该切哪一列”定个量化标准。先算整个样本集关于类别标签的熵 I(s1,…,sm):把 m 个类别按占比加权求自信息。再假设用特征 A 切分,A 有 v 个取值就把样本分成 v 个子集,每个子集有自己的熵,按子集样本数占比加权求和得到切分后的期望信息 E(A);占比越大,该子集在期望里的话语权越重,而子集内类别越纯其熵越小。

两者的差 Gain(A)=I(s1,…,sm)−E(A) 就是信息增益,含义是“知道 A 的取值后,整体不确定性被压缩了多少”。具有最高增益的特征被选作当前节点的测试属性,并对它的每个取值建一个分支。

边界:增益天然偏爱取值个数多的特征(例如给每条样本一个唯一 ID),因为那样子集熵被压到很低——这正是 C4.5 改用增益率要纠正的偏差(见[[C4.5的信息增益率:纠正多值偏好]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 决策树的发展 · 查看原书依据

      它是由于知道属性A的值而导致的熵的期望压缩。具有最高信息增益的特征就可选作给定集合S的测试属性。创建一个节点,并以该特征标记,对特征的每个值创建分支,并据此划分样本。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html) - 结论依据:原文给出类别熵、切分后的期望信息 E(A) 与公式 Gain(A)=I(s1,…,sm)−E(A),称其为“熵的期望压缩”,并规定用最高增益特征作测试属性,直接支撑本卡解释。 - 原始内容:它是由于知道属性A的值而导致的熵的期望压缩。具有最高信息增益的特征就可选作给定集合S的测试属性。创建一个节点,并以该特征标记,对特征的每个值创建分支,并据此划分样本。