知识卡片
偏差方差权衡与均方误差
偏差衡量估计量偏离真实函数或参数的期望,方差衡量同一估计量在不同数据采样下的波动;均方误差MSE同时包含这两种误差来源,是权衡二者的常用准则。频率派把真实参数θ视为固定未知、把点估计视为数据的函数(随机变量),因此可计算其偏差与方差。在容量维度上,增大容量会降低偏差却提高方差,泛化误差(以MSE计)因此呈U形:低于最佳容量时欠拟合,高于时过拟合。这把容量讨论与估计理论连接起来。实践中常用交叉验证判断偏差与方差的取舍,也可直接比较估计量的MSE。样本方差有偏而“无偏样本方差”无偏,但无偏不等于最好,有偏估计可能因方差更小而更优。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 机器学习基础 · 查看原书依据
偏差和方差的关系与机器学习容量、欠拟合和过拟合的概念紧密相联。用MSE度量泛化误差(偏差和方差对于泛化误差都是有意义的)时,增加容量会增加方差,降低偏差。如图5.6所示,我们再次在关于容量的函数中看到泛化误差的U形曲线。
参考来源
- 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文给出了偏差、方差与均方误差的定义,并明确指出增加容量会增大方差、降低偏差,从而在容量轴上再现U形泛化误差曲线。
- 原始内容:偏差和方差的关系与机器学习容量、欠拟合和过拟合的概念紧密相联。用MSE度量泛化误差(偏差和方差对于泛化误差都是有意义的)时,增加容量会增加方差,降低偏差。如图5.6所示,我们再次在关于容量的函数中看到泛化误差的U形曲线。