知识卡片
用验证集隔离模型选择
如果测试集既用来评判好坏,又用来在多个候选模型里挑一个,那么“挑测试集上最好的”本身就是一次拟合:每个候选单独看可能都没过拟合,但选择动作把测试集的偶然性编码进了最终模型,等价于拿它当第二训练集。结果是最终成绩被系统性高估。
解法是把数据分三份:训练集拟合参数,验证集比较模型与调超参数,测试集只在最后用一次、只报成绩。代价是每份数据都变小,估计的方差变大;样本紧张时用交叉验证轮换折中。要点是把测试集当成有次数预算的资源,用一次少一次,任何基于测试成绩的回头修改都会破坏它的独立性。
结构图:
flowchart LR
A["全量数据"] --> B["训练集:拟合参数"]
A --> C["验证集:比较模型"]
A --> D["测试集:最终评估一次"]
B --> C
C --> D
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 机器学习 · 查看原书依据
在这种情况下,虽然每个单独的模型可能不会出现过拟合的情况,但“选择在测试集上表现最佳的模型”是一种元训练,会把测试集当作第二训练集来使用。
参考来源
- 位置:《数据科学入门(第2版)》第11章 机器学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0015.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「在这种情况下,虽然每个单独的模型可能不会出现过拟合的情况,但“选择在测试集上表现……」
- 原始内容:在这种情况下,虽然每个单独的模型可能不会出现过拟合的情况,但“选择在测试集上表现最佳的模型”是一种元训练,会把测试集当作第二训练集来使用。