知识卡片
训练/测试分离检验泛化
做法是先复制数据、打乱顺序,再按比例切成训练段与测试段;当输入与输出成对出现时,切分依据同一组索引,保证每对 x、y 落在同一边,不会错位。模型只在训练段上拟合,成绩只在测试段上量。测试段没有参与任何参数选择,所以它的误差是泛化能力的一个独立估计。
这个检验有两个会失效的条件。一是训练与测试共享的模式无法外推到更大总体:若数据每个用户每周一行,同一个人会同时出现在两边,模型可能学会认人而不是学属性关系。二是测试集被反复使用:每次根据测试成绩回头改模型,信息就漏了进去。前者靠按用户切分缓解,后者需要引入验证集。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 机器学习 · 查看原书依据
显然,过于复杂的模型会导致过拟合,并且对于训练集以外的数据不能很好地泛化。那么,如何才能确保模型不是太复杂呢?最基本的方法涉及使用不同的数据来训练和测试模型。
参考来源
- 位置:《数据科学入门(第2版)》第11章 机器学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0015.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「显然,过于复杂的模型会导致过拟合,并且对于训练集以外的数据不能很好地泛化……」
- 原始内容:显然,过于复杂的模型会导致过拟合,并且对于训练集以外的数据不能很好地泛化。那么,如何才能确保模型不是太复杂呢?最基本的方法涉及使用不同的数据来训练和测试模型。