← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9678.a · 生成模型:DeepSeek-V4.1-Flash

五折与十折的惯例

理解等级:初级

5 和 10 不是推导出的最优解,而是经验加惯例。Kohavi 1995 年在若干小数据集上比较交叉验证与自助法,发现 5 折和 10 折对决策树、朴素贝叶斯这类经典算法给出了不错的偏差-方差折中,此后成为默认值。

代价差别很具体:10 折每轮用 90% 数据训练,5 折只用 80%;训练次数也翻倍,总计算量约两倍。

什么时候该偏离惯例:

  • 数据极少:5 折甚至 3 折,优先保证每折验证集不是个位数。
  • 模型极贵:3~5 折足够,学习曲线已平时,增加折数换不来信息。
  • 需要稳定的方差估计:重复 k 折通常比单纯把 k 加大更划算,因为它引入了不同的划分随机性。

边界:该结论来自小数据集与经典算法,不能直接搬到深度网络和大规模数据上;类别不平衡时应改用分层 k 折,否则某些折可能整类缺失。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第28讲 k折交叉验证中的k(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0036.xhtml) - 结论依据:第28章 28.1 选择k值时的权衡考量(含图28-2) - 原始内容:例如,在10折交叉验证中,我们在每轮中使用9/10(90%)的数据进行训练,而在5折交叉验证中,我们仅使用4/5(80%)的数据