知识卡片

问题卡 · 9444.h · 生成模型:Tencent Hunyuan Hy

ID3算法的三个局限

理解等级:中级

ID3有三个主要问题。第一,不能处理连续特征:像“申请日期”每天唯一、取值无穷,条件熵接近0,纯度虚高,会让它成为根节点,造出毫无泛化能力的树;而现实里年龄、温度、长度都是连续值。第二,偏向取值多的特征:信息增益天然偏爱取值多的属性,“婚姻状况”(3种取值)的信息增益总大于“拥有房产”(2种取值),这种主观偏向违背了“好算法不应有偏向”的原则。第三,没有考虑过拟合:它不断递归算信息增益直到子节点同类,缺少剪枝环节。用途上,认清这三点才能理解C4.5为何要改进。边界在于:这些问题针对ID3特有的信息增益标准,换成信息增益率或基尼系数可缓解前两点。反例是若直接把日期当特征用ID3建模,模型在训练集完美、在新数据上崩溃。可迁移启发是:任何贪心指标都要检查它是否隐含偏好(如偏好选项多的方案)。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文5.4.1节明确列出ID3“不能处理连续特征”“总是倾向选择取值更多的特征”“没有考虑过拟合的问题”三点不足,支撑本卡对ID3局限的归纳。 - 原始内容:针对如何选择最优特征这个问题,ID3算法给出了一个比较好的解决思路,即采用信息增益作为评判标准,每次选取使得信息增益最大的特征作为当前节点。但随着学界对 ID3 算法的深入研究,人们也慢慢发现了 ID3 算法的不足之处,其主要存在以下三个问题