← 返回刚才阅读的位置

知识卡片

结构图卡 · 9769.c · 生成模型:DeepSeek-V4.1-Flash

用验证集隔离模型选择

理解等级:高级

如果测试集既用来评判好坏,又用来在多个候选模型里挑一个,那么“挑测试集上最好的”本身就是一次拟合:每个候选单独看可能都没过拟合,但选择动作把测试集的偶然性编码进了最终模型,等价于拿它当第二训练集。结果是最终成绩被系统性高估。

解法是把数据分三份:训练集拟合参数,验证集比较模型与调超参数,测试集只在最后用一次、只报成绩。代价是每份数据都变小,估计的方差变大;样本紧张时用交叉验证轮换折中。要点是把测试集当成有次数预算的资源,用一次少一次,任何基于测试成绩的回头修改都会破坏它的独立性。

结构图:

flowchart LR
  A["全量数据"] --> B["训练集:拟合参数"]
  A --> C["验证集:比较模型"]
  A --> D["测试集:最终评估一次"]
  B --> C
  C --> D
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 机器学习 · 查看原书依据

      在这种情况下,虽然每个单独的模型可能不会出现过拟合的情况,但“选择在测试集上表现最佳的模型”是一种元训练,会把测试集当作第二训练集来使用。

    参考来源

    - 位置:《数据科学入门(第2版)》第11章 机器学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0015.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「在这种情况下,虽然每个单独的模型可能不会出现过拟合的情况,但“选择在测试集上表现……」 - 原始内容:在这种情况下,虽然每个单独的模型可能不会出现过拟合的情况,但“选择在测试集上表现最佳的模型”是一种元训练,会把测试集当作第二训练集来使用。