← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9632.a · 生成模型:DeepSeek-V4.1-Flash

训练误差不能估计测试误差

理解等级:中级

训练误差是训练样本点上损失的平均,是统计量:拿到观测值就能算出具体数字。它随模型复杂度单调下降——线性回归多加自变量、或把线性模型换成非线性模型,模型能用上更多训练信息,训练误差一直减小,极端情形下可以降到零(逐点拟合每个样本)。测试误差则是 U 形:模型过简单时误差偏高,称为欠拟合;随复杂度上升先降后升,升高段称为过拟合;两种情形下推广能力都差。两条曲线方向不同,说明训练误差系统性地低估真实误差,直接拿它挑模型必然偏向最复杂的那个。因此存在一个中等复杂度的模型使期望测试误差最小,这才是要寻找的目标。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 模型评价与选择 · 查看原书依据

      当模型变得越来越复杂的时候(比如线性回归增加自变量个数,或者由线性模型变为非线性模型),模型可以利用更多的训练数据信息,训练误差随着模型复杂度的增加一直减小,通常可以降到零(最后的模型就是逐点拟合)

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0001.xhtml,4.1.1 各种误差的定义) - 结论依据:原文描述训练误差随复杂度「一直减小,通常可以降到零」,测试误差「先下降,后升高」,并断言训练误差不是期望测试误差的好估计。 - 原始内容:当模型变得越来越复杂的时候(比如线性回归增加自变量个数,或者由线性模型变为非线性模型),模型可以利用更多的训练数据信息,训练误差随着模型复杂度的增加一直减小,通常可以降到零(最后的模型就是逐点拟合)