知识卡片
决策树的优势与局限
三种算法本质都是决策树,共享其特性。优势有三:一是简单直观、可解释性强,相比神经网络黑盒能知道关键因子,便于业务补充资料与模型调优;二是数据预处理简单,有剪枝机制,对缺失值和噪声容错性强;三是既能处理离散值也能处理连续值。局限有五:极易过拟合、泛化弱;样本稍变树结构就剧烈改变;难以学习异或等复杂关系;每次只看当前单一特征,忽略特征间关联;信息增益偏向取值多的特征。根源在于它“船到桥头自然直”的贪心本质——每步只做局部最优,未从整体考虑。用途与边界:适合数据集小、关联弱、需要可解释的简单二分类,如恶意入侵检测、广告点击预测;复杂场景要借助随机森林、GBDT等集成算法。可迁移启发是:简单模型可解释但能力有限,关键在于让模型特性匹配场景。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 最容易理解的分类算法:决策树 5.4.4 三种树的对比 · 查看原书依据
通过以上的总结我们可以看出,决策树算法最大的优点是简单直观,每次对一个特征进行决策,可解释性强。但因为每次决策都是“船到桥头自然直”的模式,使得在分类过程中,每次特征选择都是做当前来看最好的选择,并没有从整体上充分考虑最优特征的划分,忽略了数据之间的关联
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文5.4.4节总结决策树三大优点与五大限制,并指出其选择“只能是某种意义上的局部最优选择”、成熟方案是随机森林与GBDT等集成算法,支撑本卡对决策树优劣的归纳。
- 原始内容:通过以上的总结我们可以看出,决策树算法最大的优点是简单直观,每次对一个特征进行决策,可解释性强。但因为每次决策都是“船到桥头自然直”的模式,使得在分类过程中,每次特征选择都是做当前来看最好的选择,并没有从整体上充分考虑最优特征的划分,忽略了数据之间的关联