← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9769.f · 生成模型:DeepSeek-V4.1-Flash

偏差-方差权衡

理解等级:高级

换一个视角:设想从同一总体反复抽取训练集,每次都训练一个模型,观察这些模型的预测如何分布。偏差是它们的平均预测与真值的系统偏离,方差是它们彼此之间的差异。注意这两个量都无法在单一训练集上直接算出来,它们是思想实验中的性质。

0 阶模型在任何训练集上都拟合同一条水平线,方差极小,但每条线都错得离谱,偏差大,对应欠拟合。9 阶模型在每个训练集上都完美拟合,偏差小,可换一批点曲线就完全变形,方差大,对应过拟合。这个框架的价值在于给出下一步动作:训练误差高说明高偏差,应增加特征或换更复杂的族;训练误差低而测试误差高说明高方差,应减少特征、增加数据或加正则化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 机器学习 · 查看原书依据

      例如,11.3 节中的 0 阶模型几乎在(来自同一总体的)任何训练集上都会犯很多错,这意味着它具有高偏差。但是,任意两个随机选择的训练集应该训练出非常相似的模型,因为任意两个随机选择的训练集应该具有非常相似的均值,因此我们说模型的方差很小。高偏差和低方差通常对应着欠拟合。

    参考来源

    - 位置:《数据科学入门(第2版)》第11章 机器学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0015.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「例如,11.3 节中的 0 阶模型几乎在(来自同一总体的)任何训练集上都会犯很多……」 - 原始内容:例如,11.3 节中的 0 阶模型几乎在(来自同一总体的)任何训练集上都会犯很多错,这意味着它具有高偏差。但是,任意两个随机选择的训练集应该训练出非常相似的模型,因为任意两个随机选择的训练集应该具有非常相似的均值,因此我们说模型的方差很小。高偏差和低方差通常对应着欠拟合。