知识卡片
偏差-方差分解的三项
设 Y=f(X)+ε,ε 均值为 0、方差为 σ²,f 是未知但确定的函数。在 x0 点的期望预测误差(平方损失)可分解为三项:偏差的平方 [E f̂(x0)−f(x0)]²,估计的方差 Var(f̂(x0)),以及 σ²。偏差衡量「多次抽样得到的估计的平均」离真值多远,反映模型空间的系统性不足;方差衡量估计随训练集更换而抖动的幅度;第三项是目标值自身的噪声,任何模型都消除不了,是可达到误差的下界。要特别注意 f(x0) 是未知常数而非随机变量,随机性全部来自 f̂ 的抽样分布,所以评价的对象是 f̂ 的期望与方差。以二次真模型为例:用二次拟合是无偏的,波动只来自数据;用线性拟合形式受限、方差小但偏差大;用高复杂度模型则方差大而偏差小。
结构图:
flowchart TD
E["期望预测误差"] --> B["偏差平方 系统性偏离"]
E --> V["方差 随样本抖动"]
E --> N["噪声方差 不可约"]
B --> T["复杂度升高则降"]
V --> U["复杂度升高则升"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 模型评价与选择 · 查看原书依据
因此我们对 的评价是计算它的理论期望 与真值f(x0)的差异(偏差),以及的方差。 通常是模型越复杂偏差越小,但方差越大,如图4—1所示。
参考来源
- 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0001.xhtml,4.1.2 偏差-方差分解)
- 结论依据:原文给出分解式并逐项解释:第一项为偏差平方,第二项为估计的方差,最后一项是目标值围绕真值的方差且不可避免。
- 原始内容:因此我们对 的评价是计算它的理论期望 与真值f(x0)的差异(偏差),以及的方差。 通常是模型越复杂偏差越小,但方差越大,如图4—1所示。