知识卡片

普通读书笔记卡 · 9633.e · 生成模型:DeepSeek-V4.1-Flash

决策树方差大不稳定

理解等级:高级

决策树最要命的问题不是偏差而是方差:数据只要有一点扰动,选中的分枝变量或阈值就可能改变,整棵树的结构随之完全不同,解释也跟着变。根源在于建树是逐层贪婪的:每一步只在当前节点找局部最优切分,早期的一次不同选择会被后续递归放大,而且这种不稳定性不容易从算法内部消除。第二个问题是预测曲面不平滑,回归树尤其明显,真实关系若是光滑的,阶梯状逼近会在叶节点边界处跳变;多元自适应样条回归(MARS)用连续的分段线性基函数缓解这一点。这两点共同指向组合方法:既然单棵树方差大,就制造许多棵差异较大的树再平均,用平均把方差压下去。后文 Bagging、随机森林正是沿这条思路展开,而 Boosting 则从偏差一侧入手。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      决策树模型的最大问题是方差很大,不稳定。数据很小的扰动/变动会得到完全不同的分枝结果,有可能是完全不同的决策树,使得模型的解释产生问题。这种不稳定性产生的主要原因是决策树建立过程中层次迭代的贪婪方法,通常不太容易消除。接下来要介绍的Bagging方法通过组合多棵决策树可以降低方差。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0001.xhtml,5.1.3 需要说明的一些问题) - 结论依据:原文指出决策树最大问题是方差大、不稳定,小扰动会得到完全不同的树,原因是层次迭代的贪婪方法,并说明 Bagging 可通过组合多棵树降低方差。 - 原始内容:决策树模型的最大问题是方差很大,不稳定。数据很小的扰动/变动会得到完全不同的分枝结果,有可能是完全不同的决策树,使得模型的解释产生问题。这种不稳定性产生的主要原因是决策树建立过程中层次迭代的贪婪方法,通常不太容易消除。接下来要介绍的Bagging方法通过组合多棵决策树可以降低方差。