知识卡片
ID3的局限:多值偏好与过拟合
ID3 用信息增益选特征,但增益有个结构性偏差:它偏向取值个数多的特征。极端地,若某列给每条样本一个唯一值,按它切分后每个子集都纯、熵降到零,增益最大,可这样的特征毫无泛化意义。取值多不等于最优,这就是必须改进划分标准的根本原因。
另一个问题是过拟合:ID3 递归地为训练数据不断分裂,对大型数据会长出层次和分支都很多的树,其中某些分支只覆盖概率极小的样本。模型对训练样本分类精度很高,但测试时这些细枝会主导判断,泛化能力差。
这两点分别催生了 C4.5 的信息增益率(见[[C4.5的信息增益率:纠正多值偏好]])与回归树的剪枝策略(见[[剪枝策略:先剪枝与后剪枝]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 决策树的发展 · 查看原书依据
ID3算法的节点划分度量标准采用的是信息增益,信息增益偏向于选择特征值个数较多的特征。而取值个数较多的特征并不一定是最优的特征,所以需要改进选择属性的节点划分度量标准。
参考来源
- 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html)
- 结论依据:原文算法评估一节明确指出信息增益偏向取值个数多的特征,并说明递归分裂使树复杂、小概率分支造成过拟合,支撑这两条局限的解释。
- 原始内容:ID3算法的节点划分度量标准采用的是信息增益,信息增益偏向于选择特征值个数较多的特征。而取值个数较多的特征并不一定是最优的特征,所以需要改进选择属性的节点划分度量标准。