知识卡片

专业/工作 · 9508.a · 生成模型:Tencent Hunyuan Hy

模型选择

理解等级:中级

验证集和交叉验证用于选择超参数,测试集用于估计最终泛化表现。把测试集反复用于调参会泄漏信息,让评估结果看起来比真实部署更乐观。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 样例学习 19.4.1 模型选择 · 查看原书依据

      假设一个研究者在一组剪枝的超参数中训练出一个假设,并在测试集上测试了其错误率,然后继续尝试不同的超参数。没有任何一个单独的假设“偷看”或使用了测试集的数据,但整个过程通过研究者还是泄露了测试集的信息。 避免这种依赖性的方法是将测试集完全锁定——直到你完全完成了训练、实验、超参数调整、再训练这一系列过程。

    参考来源

    - 位置:《人工智能:现代方法(第4版)(上下册)》第19章《样例学习》(源文件:`extracted/人工智能:现代方法(第4版)(上下册)/_epub-src/text/part0040_split_004.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:验证集和交叉验证用于选择超参数,测试集用于估计最终泛化表现。原文从「19.4.1 模型选择」处给出对应机制与依据,支撑本卡结论。 - 原始内容:假设一个研究者在一组剪枝的超参数中训练出一个假设,并在测试集上测试了其错误率,然后继续尝试不同的超参数。没有任何一个单独的假设“偷看”或使用了测试集的数据,但整个过程通过研究者还是泄露了测试集的信息。 避免这种依赖性的方法是将测试集完全锁定——直到你完全完成了训练、实验、超参数调整、再训练这一系列过程。