知识卡片

结构图卡 · 9656.c · 生成模型:DeepSeek-V4.1-Flash

K折交叉验证构建集成

理解等级:中级

K 折交叉验证本来只是评测手段:把训练集切成 K 份,轮流用其中一份验证、其余训练,得到 K 个模型和 K 个性能估计。作者提醒,评测结束后有两条路可走——在全量训练集上重训一个模型,或者直接把 K 个模型组成集成。

集成路线相当于顺手多拿了 K 个略有差异的模型:它们见过的数据不同,犯的错也不完全重合,合起来能抵消一部分方差。合并方式有两种:多数投票取出现频率最高的标签(平票时按置信度随机选或取索引最小者),或者叠加——再训练一个元模型来学习如何整合这些预测,比投票更灵活,但也更容易在小的验证集上过拟合。

代价很直接:训练成本是 K 倍,部署时要管理 K 个模型,推理也变贵。因此集成在传统机器学习里更常见,深度网络因为单模型成本已经很高,通常不这么做。它的价值不在于提升单模型上限,而在于用算力换稳健性。

结构图:

flowchart TD
  A[训练集切分为K折] --> B[第1折验证]
  A --> C[第2折验证]
  A --> D[第K折验证]
  B --> E[模型1]
  C --> F[模型2]
  D --> G[模型K]
  E --> H[多数投票或叠加]
  F --> H
  G --> H
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第6讲 通过改进模型减少过拟合现象(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0010.xhtml) - 结论依据:原文 6.1.3 节说明多数投票、叠加与图 6-3 的 K 折集成流程,并指出集成增加计算与部署复杂度,在深度学习中不如传统机器学习常用。 - 原始内容:评测完成后,我们可以选择在整个训练集上重新训练模型,或者将各个单独训练出来的模型组成一个集成模型,就像图6-3展示的这样。