知识卡片
模型容量欠拟合与过拟合
欠拟合指模型在训练集上就不能达到足够低的误差,过拟合指训练误差与测试误差差距过大;二者的根源是模型容量与任务复杂度、数据量的匹配程度。容量是模型拟合各种函数的能力,可通过假设空间大小来调节:一次多项式是线性回归,加入x²、x⁹等高幂就扩大了假设空间、提高容量。低容量模型表达不了真实函数的曲率(欠拟合),过高容量虽能穿过所有训练点,却会记住训练集的偶然性质、在新数据上失效(过拟合)。恰当容量处泛化误差最小,训练误差随容量上升而下降、泛化误差呈U形。此外要区分表示容量(模型族可表达的函数范围)与有效容量(优化算法实际能找到的函数范围),后者常因优化不完美而更小。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 机器学习基础 · 查看原书依据
欠拟合是指模型不能在训练集上获得足够低的误差,而过拟合是指训练误差和测试误差之间的差距太大。 通过调整模型的容量 (capacity),我们可以控制模型是否偏向于过拟合或者欠拟合。通俗来讲,模型的容量是指其拟合各种函数的能力。
参考来源
- 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文用线性、二次与9次多项式拟合同一二次函数的例子展示欠拟合与过拟合,并给出容量、表示容量与有效容量的定义及U形曲线。
- 原始内容:欠拟合是指模型不能在训练集上获得足够低的误差,而过拟合是指训练误差和测试误差之间的差距太大。 通过调整模型的容量 (capacity),我们可以控制模型是否偏向于过拟合或者欠拟合。通俗来讲,模型的容量是指其拟合各种函数的能力。