知识卡片
ID3算法的三个局限
ID3有三个主要问题。第一,不能处理连续特征:像“申请日期”每天唯一、取值无穷,条件熵接近0,纯度虚高,会让它成为根节点,造出毫无泛化能力的树;而现实里年龄、温度、长度都是连续值。第二,偏向取值多的特征:信息增益天然偏爱取值多的属性,“婚姻状况”(3种取值)的信息增益总大于“拥有房产”(2种取值),这种主观偏向违背了“好算法不应有偏向”的原则。第三,没有考虑过拟合:它不断递归算信息增益直到子节点同类,缺少剪枝环节。用途上,认清这三点才能理解C4.5为何要改进。边界在于:这些问题针对ID3特有的信息增益标准,换成信息增益率或基尼系数可缓解前两点。反例是若直接把日期当特征用ID3建模,模型在训练集完美、在新数据上崩溃。可迁移启发是:任何贪心指标都要检查它是否隐含偏好(如偏好选项多的方案)。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 最容易理解的分类算法:决策树 5.4.1 ID3算法存在的问题 · 查看原书依据
针对如何选择最优特征这个问题,ID3算法给出了一个比较好的解决思路,即采用信息增益作为评判标准,每次选取使得信息增益最大的特征作为当前节点。但随着学界对 ID3 算法的深入研究,人们也慢慢发现了 ID3 算法的不足之处,其主要存在以下三个问题
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文5.4.1节明确列出ID3“不能处理连续特征”“总是倾向选择取值更多的特征”“没有考虑过拟合的问题”三点不足,支撑本卡对ID3局限的归纳。
- 原始内容:针对如何选择最优特征这个问题,ID3算法给出了一个比较好的解决思路,即采用信息增益作为评判标准,每次选取使得信息增益最大的特征作为当前节点。但随着学界对 ID3 算法的深入研究,人们也慢慢发现了 ID3 算法的不足之处,其主要存在以下三个问题