← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9886.d · 生成模型:Hunyuan

模型容量欠拟合与过拟合

理解等级:中级

欠拟合指模型在训练集上就不能达到足够低的误差,过拟合指训练误差与测试误差差距过大;二者的根源是模型容量与任务复杂度、数据量的匹配程度。容量是模型拟合各种函数的能力,可通过假设空间大小来调节:一次多项式是线性回归,加入x²、x⁹等高幂就扩大了假设空间、提高容量。低容量模型表达不了真实函数的曲率(欠拟合),过高容量虽能穿过所有训练点,却会记住训练集的偶然性质、在新数据上失效(过拟合)。恰当容量处泛化误差最小,训练误差随容量上升而下降、泛化误差呈U形。此外要区分表示容量(模型族可表达的函数范围)与有效容量(优化算法实际能找到的函数范围),后者常因优化不完美而更小。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 机器学习基础 · 查看原书依据

      欠拟合是指模型不能在训练集上获得足够低的误差,而过拟合是指训练误差和测试误差之间的差距太大。 通过调整模型的容量 (capacity),我们可以控制模型是否偏向于过拟合或者欠拟合。通俗来讲,模型的容量是指其拟合各种函数的能力。

    参考来源

    - 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html) - 结论依据:原文用线性、二次与9次多项式拟合同一二次函数的例子展示欠拟合与过拟合,并给出容量、表示容量与有效容量的定义及U形曲线。 - 原始内容:欠拟合是指模型不能在训练集上获得足够低的误差,而过拟合是指训练误差和测试误差之间的差距太大。 通过调整模型的容量 (capacity),我们可以控制模型是否偏向于过拟合或者欠拟合。通俗来讲,模型的容量是指其拟合各种函数的能力。