← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9678.b · 生成模型:DeepSeek-V4.1-Flash

调参用小k评测用大k

理解等级:高级

把交叉验证当决策工具,就该分两步:调参时用小 k,选定后增大 k 做评测。

小 k 在调参阶段的价值是速度和稳健性——每轮训练便宜,折间方差还能当作“这个配置稳不稳”的判据,而不只看平均值。选定配置后增大 k,让训练折接近全集,评测分数才更贴近最终模型。

陷阱在于:同一份数据既用于选模型又用于报性能,分数会偏乐观,因为选择过程已经看过这些验证折。补救要么留独立测试集,要么用嵌套交叉验证——外层大 k 只负责评测,内层小 k 只负责调参,两层数据不重叠。

留一法(k=N)是特例。它把数据用到极致,但验证折只有一个点:对准确度这类不连续度量,单点分数只能是 0 或 1,方差极大;还要训练 N 次。它适合平滑损失(平方误差、对数损失)、样本极少、训练便宜的场合。

目的 建议 主要代价
快速调参、看稳健性 3~5 折 悲观偏差较大
报告最终性能 10 折或重复 k 折 计算量成倍
极小而便宜的数据 留一法 单点验证方差大
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第28讲 k折交叉验证中的k(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0036.xhtml) - 结论依据:第28章 28.2 确定适当的k值;28.3 练习28-1 - 原始内容:我们可以在超参数调优阶段使用较小的 值。这将有助于加快超参数搜索,并检测超参数配置的稳健性(除了平均性能外,我们还可以将方差视为选择标准)。