← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9827.l · 生成模型:DeepSeek-V4.1-Flash

决策树的优缺点与集成基模型

理解等级:初级

优点

  1. 可解释。可视化之后每条分支对应一条明确的特征约束,”无房产 → 未婚 → 收入 万 → 不逾期”这样的规则人能直接读懂并复核。
  2. 特征类型通吃。类别型和数值型可以混着放,不需要像距离类模型那样先标准化(见 [[决策树为何不要求特征缩放]])。
  3. 能处理多分类和非线性边界,切分是逐段折线,天然不要求线性可分。
  4. 预测快。训练完只需从根走一条路径,几乎没有额外计算,延迟与树深成正比。
  5. 便于集成。精度不差但易过拟合,这个缺点恰好能被”多棵树投票/累加”摊平,随机森林与 GBDT 都以它为基学习器。

缺点

  1. 对噪声敏感。标签有错或特征有噪,树会专门长出一条分支去拟合它,训练集越脏越容易过拟合(靠剪枝和集成缓解)。
  2. 特征关联性强时表现不佳。两个高度相关的特征,树只会挑其中一个(通常是被增益/基尼偶然选中的那个),另一个的信息被浪费,结果对数据扰动敏感。

所以实际工程里很少单独部署一棵树,常见做法是把它当积木:单树的方差大,集成用 bagging 降方差(随机森林)或用 boosting 降偏差(GBDT)。反过来说,读懂单树的特征选择与剪枝,是理解这些集成模型的前提——它们仍然在每一轮里做同样的”选特征、找切分点”。

还有一条使用心态:在某个数据集上效果接近完美,不代表模型更优。类别均衡、特征区分度高的小数据集很容易让树拿到满分,换到真实业务未必如此;选型要看数据规模、特征质量与可解释性要求,而不是单次评分。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 决策树 6.7 小结 · 查看原书依据

      (5)方便做集成。树模型的精度较高,虽然存在易过拟合的风险,但可以通过集成来改善,后面的随机森林和GBDT等集成模型都是使用决策树作为基学习器的

    参考来源

    - 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html) - 结论依据:原文 6.7 节列出五条优点(易理解、混合类型、多分类与非线性、预测快、方便集成)与两条缺点(噪声敏感易过拟合、特征关联性强时表现差),并强调实际中多作随机森林与 GBDT 的基学习器。 - 原始内容:(5)方便做集成。树模型的精度较高,虽然存在易过拟合的风险,但可以通过集成来改善,后面的随机森林和GBDT等集成模型都是使用决策树作为基学习器的