← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9823.h · 生成模型:DeepSeek-V4.1-Flash

过拟合与欠拟合

理解等级:初级

先把两种误差分清:模型在训练集上的误差叫训练误差(经验误差),在新样本上的误差叫测试误差(泛化误差)。训练时我们只能看到前者,但真正想要的是后者变小——所有过拟合问题都源于这两者的不一致。

过拟合:在训练集上预测得很好,在测试集上很差。模型把训练数据里的偶然特征当成了普遍规律。书里的树叶例子很形象:两片训练样本的叶子都有锯齿,模型就把”有锯齿”当成树叶的充分条件,遇到一片光滑的叶子便判为”不是树叶”。

欠拟合:模型连训练数据的规律都没学到。同一例子里,模型只抓到”绿色”这一粗略特征,于是把一棵绿树也判成树叶。欠拟合通常来自模型太简单或特征太少。

过拟合 欠拟合
训练误差 很低 高
泛化误差 高 高
本质 方差过大 偏差过大
对策 更多数据、简化模型、正则化 增加特征、提高模型复杂度

造成过拟合的三个典型原因:样本特征数量多而训练样本少(维度高、证据少,模型可以随便穿过每个点);样本噪声过大(模型去拟合噪声);模型参数太多、复杂度过高。

对应的解法:获取额外数据并做交叉验证;重新清洗数据,减少噪声与错误标注;加入正则化项,直接惩罚模型复杂度(见 [[正则化:L1 稀疏 L2 衰减]])。

一个实操上的判断习惯:训练误差和验证误差都高,是欠拟合,加复杂度;训练误差很低但验证误差明显更高且差距随训练扩大,是过拟合,减复杂度或加数据。不要只看一个数字。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html) - 结论依据:原文区分训练误差与泛化误差,用树叶识别例子分别说明过拟合(记住锯齿特征而误判光滑叶子)与欠拟合(只抓绿色特征而误判绿树),并列出过拟合的三条成因与三条解决途径。 - 原始内容:过拟合是指模型对已知数据(即训练集中的数据)预测得很好,但是对未知数据(即测试集数据)预测得很差的现象。举一个简单的例子来说明,如图2-7所示。