知识卡片

延伸参考卡 · 9830.b · 生成模型:DeepSeek-V4.1-Flash

平均为什么能降方差

理解等级:高级

Bagging 只是”多抽几次、多训几个、投票平均”,凭什么更准?答案在于它只改善误差中的一项。

模型的期望泛化误差可以拆成三块:偏差²(模型族太简单造成的系统性偏离)、方差(换一份训练集,模型结果抖动多大)、不可约噪声。平均 T 个模型的预测时,偏差基本不变(平均一群同样偏的模型,还是偏),噪声也不变,唯一被压下去的是方差。

把单个模型的方差记作 σ²,两两相关系数记作 ρ,则 T 个模型取平均后的方差是:

 Var = ρσ² + (1−ρ)σ²/T

这个式子只有两项,但把 Bagging 的全部秘密说完了:

情形 平均后方差 含义
ρ=1(完全相关) σ² 平均没有任何收益,等于白算 T 倍
ρ=0(完全独立) σ²/T 理想情况,模型越多越稳
0<ρ(现实) 卡在两者之间 第二项随 T 衰减,第一项是降不下去的地板

小数字演算:σ²=1、T=10。若 ρ=0.8,方差为 0.8+0.02=0.82,只降了 18%;若 ρ=0.2,方差为 0.2+0.08=0.28。差距全在 ρ。

由此推出两个必要前提:

  1. 基学习器必须”不稳定”。方差本来就小的模型(线性回归、逻辑回归)平均后几乎不变,Bagging 纯属浪费。决策树对数据扰动极敏感——换几个样本,顶层分裂特征就可能换掉,整棵树结构大变——所以是理想对象。
  2. 基学习器之间要尽量不相关。T 增大只在第二项上做功且收益递减,真正有效的是压低 ρ。这正是随机森林在样本抽样之外再加一层”特征随机”的动机:让每棵树看到不同的特征子集,强行拉开差异。

说明:偏差—方差分解与上述方差公式是统计学习中的通用背景,原书未给出;原文的对应表述是 Bagging 的基学习器”彼此之间无强关联”、”各个基模型的训练过程都是相互独立的”,并据此得出”模型的泛化能力较强”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html) - 结论依据:原文把 Bagging/RF 泛化能力的来源归于基学习器"无强关联、训练相互独立",本卡据此补充其统计学解释——独立性决定了平均能否降低方差。 - 原始内容:由于RF每次都是对样本及样本的特征进行随机采样来训练基学习器,因此泛化能力比较强……一方面,增强了模型的泛化能力;另一方面,各个基模型的训练过程都是相互独立的,因此可以并列进行