知识卡片
C4.5对ID3的三处修补
C4.5 不是新模型,而是针对 ID3 三个缺点的三处替换,其余部分”几乎一样”。
| ID3 的缺点 | 后果 | C4.5 的办法 |
|---|---|---|
| 偏向取值种类多的特征 | 选出没有泛化价值的特征 | 改用信息增益比作准则 |
| 不能处理连续值特征 | 年收入这类数值必须先人工分箱 | 排序后找类别标签变化点,取阈值二分 |
| 容易过拟合 | 分叉过细,记住训练集噪声 | 引入正则化系数做初步剪枝 |
连续值那一步值得展开,因为它是”用标签信息定切点”的简洁做法。把某个特征下的取值升序排好,比如年收入为 6、9、10、12、14、16、18、20,对应标签为 是、是、是、否、否、否、否、否。只看标签序列在哪里翻转——这里只有一次翻转,发生在 10 和 12 之间,于是取 12 作阈值:小于 12 归一类,大于等于 12 归另一类。相比等宽分箱(0~10 万、10~20 万),这个切点由数据自己说话,不会把 3 万和 11 万强行塞进同一个箱。
三处修补都有代价。增益比在特征取值近乎单一时分母趋零、比值不稳定;连续值只切一刀,一刀两段仍是离散化,段内的差异被抹平;预剪枝按阈值早停,可能错过”当前增益低、后续增益高”的分裂。更根本的是,C4.5 依然沿用多叉树 + 熵模型,对数运算多、特征用一次就丢弃,这两个问题要等 [[CART为何用二叉树反复切分]] 才被彻底换掉。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第06章 决策树
原书出处 · 1 处
- 第6章 决策树 6.3.2 C4.5决策树 · 查看原书依据
使用信息增益来选择特征的一个缺点就是容易偏向于优先选取取值种类较多的特征,除此之外,ID3决策树还有两个缺点:①不能处理连续值特征,②容易过拟合。
参考来源
- 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html)
- 结论依据:原文先列出 ID3 的三个缺点(偏向多取值特征、不能处理连续值、容易过拟合),再逐条给出 C4.5 的对应解法,并以年收入 6~20 万、标签在 10 与 12 之间翻转为例说明阈值取 12。
- 原始内容:使用信息增益来选择特征的一个缺点就是容易偏向于优先选取取值种类较多的特征,除此之外,ID3决策树还有两个缺点:①不能处理连续值特征,②容易过拟合。