← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9823.g · 生成模型:DeepSeek-V4.1-Flash

偏差-方差分解

理解等级:高级

同一个算法,换一份训练集重新训练,得到的模型就不一样;面对同一个测试样本,这些模型的预测也各不相同。偏差-方差分解就是把这堆”不确定性”拆开,解释泛化误差到底从哪来。

对测试样本 x,真实结果为 y,观测到的结果为 y_D(带观测误差 ε),在训练集 T 上学到的模型记为 f_T(x)。定义预测期望为 f̄(x) = E_T[f_T(x)],则有:

泛化误差期望 = bias²(x) + var(x) + var(ε)

三项各管一件事:

  • 偏差 bias²(x):(f̄(x) − y)²,即”平均预测值”偏离真实值多少。它衡量算法本身的拟合能力——模型族太简单(如用直线拟合弯曲关系),偏差就大,表现为欠拟合。
  • 方差 var(x):E_T[(f_T(x) − f̄(x))²],即不同训练集训出的模型彼此差多少。它衡量模型对数据扰动的敏感度——模型太灵活(如高阶多项式),训练集里换几个样本,曲线就大幅摇摆,表现为过拟合。
  • 噪声 var(ε):观测误差本身的方差,是任何算法在同一任务上都无法突破的误差下界,代表任务难度。

用打靶比喻更好记:靶心是完美预测,每个点是某个模型的结果。离靶心近 = 低偏差,落点分散 = 高方差。四种组合就是”又准又稳”“准但抖”“稳但偏”“又偏又抖”。

关键结论是偏差与方差此消彼长:模型复杂度上升,偏差下降(能拟合更复杂的真实关系),方差上升(对训练集更敏感)。两者相加的最小值才对应最小的泛化误差,那个位置就是最佳模型复杂度。这解释了为什么”训练集上越准越好”是错的:一味降低偏差会换来方差的暴涨,总误差反而变大。

这条曲线也是后面所有复杂度控制手段的理论依据——正则化、交叉验证、集成方法,本质上都是在往”低方差一侧”拉一点,用可接受的偏差换取稳定性的提升。相关机制见 [[过拟合与欠拟合]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html) - 结论依据:原文给出泛化误差期望可分解为偏差、方差与噪声三部分,并逐项说明其含义,同时指出偏差随复杂度增加而降低、方差随之增加,二者之和最优处即最佳模型复杂度。 - 原始内容:从上可知,模型的泛化误差可以分解为偏差+方差+噪声……偏差—方差分解说明,泛化性能是由所用模型的能力、数据的充分性及学习任务本身的难度共同决定的。