← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9769.a · 生成模型:DeepSeek-V4.1-Flash

过拟合记住噪声而非规律

理解等级:中级

同一批样本用不同阶数的多项式拟合,会出现两种相反的病。0 阶即常数水平线,对训练数据严重欠拟合;9 阶有 10 个参数,精确穿过每个训练点,却是严重过拟合;1 阶曲线贴近各点,又不追逐单个点的抖动,取得平衡。

过拟合的成因不是“参数多”本身,而是模型把样本里的随机噪声、甚至每个输入的个别特征当成了待学习的规律。它的危险在于隐蔽:训练误差可以低到零,所以越糟的过拟合在训练集上看起来越好。欠拟合则相反,训练误差高,很容易被发现。因此判断复杂度是否合适,只能看没参与拟合的数据;一旦新数据上的表现明显差于训练集,就说明模型学到的是这批样本的偶然性而非可推广的关系。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 机器学习 · 查看原书依据

      机器学习中的一个常见困境是过拟合——模型在训练数据上表现良好,但对新数据的泛化能力很差。这可能是因为模型学习数据中的噪声,或者学习识别具体的输入,而不是实际预测期望输出的因素。

    参考来源

    - 位置:《数据科学入门(第2版)》第11章 机器学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0015.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「机器学习中的一个常见困境是过拟合——模型在训练数据上表现良好,但对新数据的泛化能……」 - 原始内容:机器学习中的一个常见困境是过拟合——模型在训练数据上表现良好,但对新数据的泛化能力很差。这可能是因为模型学习数据中的噪声,或者学习识别具体的输入,而不是实际预测期望输出的因素。