知识卡片

普通读书笔记卡 · 9840.i · 生成模型:Hunyuan

C4.5的信息增益率:纠正多值偏好

理解等级:中级

C4.5 没有改动 ID3 的算法逻辑和程序结构,只把节点划分标准从信息增益换成信息增益率。增益率用增益除以划分信息 SplitInfo(S,A),后者刻画按特征 A 切分样本集的广度与均匀性:取值越多、分布越散,SplitInfo 越大,于是“靠堆取值数挣来的高增益”被分母压下去,多值特征的虚高优势得到抑制。

实现上只需改两个方法:getBestFeat 在算出各列信息增益后再算该列的 SplitInfo,取二者之比最大的列号;computeSplitInfo 按取值计数、转成概率,累加 −p·log₂p 即得划分信息。buildTree 其余部分不变。

用同一份数据训练,C4.5 生成的树与 ID3 不同(根变成 student),但分类结果仍与真实标签一致,说明改进的是选特征的准则而非树的用法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 决策树的发展 · 查看原书依据

      C4.5并没有改变ID3的算法逻辑,基本的程序结构仍与ID3相同,但在节点的划分标准上做了改进。C4.5使用信息增益率(GainRatio)来替代信息增益(Gain)进行特征的选择,克服了信息增益选择特征时偏向于特征值个数较多的不足。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html) - 结论依据:原文说明 C4.5 用信息增益率替代增益以克服多值偏好,给出 SplitInfo 与增益率代码,并展示以 student 为根的训练结果与分类输出,支撑这些结论。 - 原始内容:C4.5并没有改变ID3的算法逻辑,基本的程序结构仍与ID3相同,但在节点的划分标准上做了改进。C4.5使用信息增益率(GainRatio)来替代信息增益(Gain)进行特征的选择,克服了信息增益选择特征时偏向于特征值个数较多的不足。