知识卡片

普通读书笔记卡 · 9769.g · 生成模型:DeepSeek-V4.1-Flash

更多数据只降方差

理解等级:高级

固定 9 阶模型不变,只用 10 个点拟合时曲线剧烈摆动;用 100 个点,过拟合明显缓解;用 1000 个点,曲线已接近 1 阶模型。机制是每个参数都需要足够的样本去约束,样本变多,高阶项系数就被更多证据压住,换一批数据也不会大幅变动,即方差下降。

但这条路径有明确的边界:数据不能降低偏差。如果模型族根本不含真实关系——例如用 0 阶常数去拟合一条曲线——再多数据也只是更精确地估计同一个错误答案。因此“加数据”和“换模型”治的是两种病:前者治方差,后者治偏差。先分清训练误差和测试误差哪个高,再决定花钱采数据还是改特征,才不至于用错药。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 机器学习 · 查看原书依据

      在保持模型复杂度不变的情况下,你拥有的数据越多,就越不会出现过拟合现象。另外,更多的数据并不会降低模型偏差。如果模型不能使用足够多的特征来捕获数据中的正则性,那么向其投入再多数据也无济于事。

    参考来源

    - 位置:《数据科学入门(第2版)》第11章 机器学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0015.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「在保持模型复杂度不变的情况下,你拥有的数据越多,就越不会出现过拟合现象……」 - 原始内容:在保持模型复杂度不变的情况下,你拥有的数据越多,就越不会出现过拟合现象。另外,更多的数据并不会降低模型偏差。如果模型不能使用足够多的特征来捕获数据中的正则性,那么向其投入再多数据也无济于事。