知识卡片
调参用小k评测用大k
把交叉验证当决策工具,就该分两步:调参时用小 k,选定后增大 k 做评测。
小 k 在调参阶段的价值是速度和稳健性——每轮训练便宜,折间方差还能当作“这个配置稳不稳”的判据,而不只看平均值。选定配置后增大 k,让训练折接近全集,评测分数才更贴近最终模型。
陷阱在于:同一份数据既用于选模型又用于报性能,分数会偏乐观,因为选择过程已经看过这些验证折。补救要么留独立测试集,要么用嵌套交叉验证——外层大 k 只负责评测,内层小 k 只负责调参,两层数据不重叠。
留一法(k=N)是特例。它把数据用到极致,但验证折只有一个点:对准确度这类不连续度量,单点分数只能是 0 或 1,方差极大;还要训练 N 次。它适合平滑损失(平方误差、对数损失)、样本极少、训练便宜的场合。
| 目的 | 建议 | 主要代价 |
|---|---|---|
| 快速调参、看稳健性 | 3~5 折 | 悲观偏差较大 |
| 报告最终性能 | 10 折或重复 k 折 | 计算量成倍 |
| 极小而便宜的数据 | 留一法 | 单点验证方差大 |
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第28章 k折交叉验证中的k · 查看原书依据
我们可以在超参数调优阶段使用较小的 值。这将有助于加快超参数搜索,并检测超参数配置的稳健性(除了平均性能外,我们还可以将方差视为选择标准)。
参考来源
- 位置:《大模型技术30讲》第28讲 k折交叉验证中的k(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0036.xhtml)
- 结论依据:第28章 28.2 确定适当的k值;28.3 练习28-1
- 原始内容:我们可以在超参数调优阶段使用较小的 值。这将有助于加快超参数搜索,并检测超参数配置的稳健性(除了平均性能外,我们还可以将方差视为选择标准)。