← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9678 · 生成模型:DeepSeek-V4.1-Flash

k值的偏差与方差

理解等级:中级

k 折的平均分近似“在全集上训练”的表现,但每折只用了 (k-1)/k 的数据,估计天然偏低,这叫悲观偏差;k 越大,训练折越接近全集,偏差越小。

另一端是方差。k 变大时验证折只剩 1/k,单折分数由很少样本决定,噪声大;同时训练折彼此高度重叠,k 个模型几乎一样,平均也抵不掉这份噪声。k 小时每折验证集更稳,但各折模型差异大。所以两端都会抬高方差,只是来源不同:小 k 来自模型间差异,大 k 来自验证集过小。

维度 小 k(3、5) 大 k(10、N)
每折训练比例 低(5 折 80%) 高(10 折 90%)
悲观偏差 较大 较小
折间模型差异 大 小
单折验证噪声 小 大
计算成本 低 高

因此“k 越大越好”只在“逼近全集训练效果”这个目标下成立。若想知道算法对训练集扰动有多敏感,小 k 提供的差异信息更多。深度学习里每增大 k 都意味着更多次、更大规模的训练,成本约束往往先于统计最优起作用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第28章 k折交叉验证中的k · 查看原书依据

      值会使训练折之间更加相似,因为留出的验证集占的比例更小。由于训练折更加相似,每轮中的模型也会更加相似。在实际操作中,我们可以观察到,对于较大的 值,保留的验证折分数的方差更相似。

    参考来源

    - 位置:《大模型技术30讲》第28讲 k折交叉验证中的k(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0036.xhtml) - 结论依据:第28章 28.1 选择k值时的权衡考量 - 原始内容:值会使训练折之间更加相似,因为留出的验证集占的比例更小。由于训练折更加相似,每轮中的模型也会更加相似。在实际操作中,我们可以观察到,对于较大的 值,保留的验证折分数的方差更相似。