知识卡片
更多数据只降方差
固定 9 阶模型不变,只用 10 个点拟合时曲线剧烈摆动;用 100 个点,过拟合明显缓解;用 1000 个点,曲线已接近 1 阶模型。机制是每个参数都需要足够的样本去约束,样本变多,高阶项系数就被更多证据压住,换一批数据也不会大幅变动,即方差下降。
但这条路径有明确的边界:数据不能降低偏差。如果模型族根本不含真实关系——例如用 0 阶常数去拟合一条曲线——再多数据也只是更精确地估计同一个错误答案。因此“加数据”和“换模型”治的是两种病:前者治方差,后者治偏差。先分清训练误差和测试误差哪个高,再决定花钱采数据还是改特征,才不至于用错药。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 机器学习 · 查看原书依据
在保持模型复杂度不变的情况下,你拥有的数据越多,就越不会出现过拟合现象。另外,更多的数据并不会降低模型偏差。如果模型不能使用足够多的特征来捕获数据中的正则性,那么向其投入再多数据也无济于事。
参考来源
- 位置:《数据科学入门(第2版)》第11章 机器学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0015.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「在保持模型复杂度不变的情况下,你拥有的数据越多,就越不会出现过拟合现象……」
- 原始内容:在保持模型复杂度不变的情况下,你拥有的数据越多,就越不会出现过拟合现象。另外,更多的数据并不会降低模型偏差。如果模型不能使用足够多的特征来捕获数据中的正则性,那么向其投入再多数据也无济于事。