知识卡片

普通读书笔记卡 · 9840.h · 生成模型:Hunyuan

ID3的局限:多值偏好与过拟合

理解等级:高级

ID3 用信息增益选特征,但增益有个结构性偏差:它偏向取值个数多的特征。极端地,若某列给每条样本一个唯一值,按它切分后每个子集都纯、熵降到零,增益最大,可这样的特征毫无泛化意义。取值多不等于最优,这就是必须改进划分标准的根本原因。

另一个问题是过拟合:ID3 递归地为训练数据不断分裂,对大型数据会长出层次和分支都很多的树,其中某些分支只覆盖概率极小的样本。模型对训练样本分类精度很高,但测试时这些细枝会主导判断,泛化能力差。

这两点分别催生了 C4.5 的信息增益率(见[[C4.5的信息增益率:纠正多值偏好]])与回归树的剪枝策略(见[[剪枝策略:先剪枝与后剪枝]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 决策树的发展 · 查看原书依据

      ID3算法的节点划分度量标准采用的是信息增益,信息增益偏向于选择特征值个数较多的特征。而取值个数较多的特征并不一定是最优的特征,所以需要改进选择属性的节点划分度量标准。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html) - 结论依据:原文算法评估一节明确指出信息增益偏向取值个数多的特征,并说明递归分裂使树复杂、小概率分支造成过拟合,支撑这两条局限的解释。 - 原始内容:ID3算法的节点划分度量标准采用的是信息增益,信息增益偏向于选择特征值个数较多的特征。而取值个数较多的特征并不一定是最优的特征,所以需要改进选择属性的节点划分度量标准。