知识卡片

普通读书笔记卡 · 9633.v · 生成模型:DeepSeek-V4.1-Flash

随机森林只减方差

理解等级:高级

B 棵树若彼此独立、每棵方差 σ²,平均后方差为 σ²/B;但树只是同分布而非独立,两两相关系数为 ρ 时,平均方差变成 ρσ²+(1-ρ)σ²/B。B 增大只能消掉后一项,剩下 ρσ² 是地板——这正是 Bagging 的瓶颈,因为它的树都用全部变量,彼此高度相似。随机森林的 m 就是用来压 ρ 的:每棵树只看部分变量,两棵树不太可能选出同样的切分。代价是单棵树变弱:m 越小,ρ 越小,但给定训练集时树间的方差变大,两项此消彼长,所以单棵树的方差不会剧烈波动,总体仍远小于单树。偏差方面,限制候选变量会让偏差增大,且比未剪枝单树更大;因此随机森林的改进同样完全来自方差缩减,与岭回归的思路类似。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      一般来讲,构造树时所用到的变量x 越少,则偏差越大,并且都比基于训练样本T 所构造的单棵未经剪枝的树所求得的偏差要大。因此, Bagging和随机森林一样,在预测上的改进完全体现在方差缩减上,这与岭回归是类似的。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0004.xhtml,5.4.2 理论分析) - 结论依据:原文给出平均方差 ρσ²+(1-ρ)σ²/B 的结构、m 减小如何降低相关性并影响单树方差的两项,以及偏差不降反增、改进来自方差缩减的结论。 - 原始内容:一般来讲,构造树时所用到的变量x 越少,则偏差越大,并且都比基于训练样本T 所构造的单棵未经剪枝的树所求得的偏差要大。因此, Bagging和随机森林一样,在预测上的改进完全体现在方差缩减上,这与岭回归是类似的。