知识卡片

结构图卡 · 9556.g · 生成模型:DeepSeek-V4.1-Flash

断点续训的保存与加载闭环

理解等级:中级

断点续训由两个对称动作组成:训练中按间隔落盘,重启后从最近落盘点读回。落盘写入模型参数、优化器状态与当前损失;读回时先构造同结构模型与同类型优化器,再加载状态字典,把训练状态恢复到保存时刻,然后从下一个 epoch 继续,而不是从第 1 轮重来。

闭环成立依赖三件事。其一是完整性:缺优化器状态就会改变后续更新轨迹,loss 会短暂偏离。其二是路径可预测:按 epoch 命名检查点,恢复时才知道该读哪个文件。其三是计数接续:原文示例从第 10 轮恢复后打印 Resumed Epoch [11⁄30],说明总轮数可以调大,而起点接着旧进度——这正是”续”而不是”重跑”的标志。

动机在原文写得很直接:长时间训练中的意外中断会浪费时间和资源,从最后检查点继续可以避免从头开始。边界也由此而来:两次落盘之间的进度无法找回,返工量由保存间隔决定,间隔越短越安全、落盘开销越大。检查点该存什么,见 [[检查点必须带上优化器状态]]。

结构图:

flowchart TD
  A[训练循环] --> B{到达保存间隔}
  B -->|否| A
  B -->|是| C[写入检查点]
  C --> D[模型与优化器状态]
  D --> E[训练意外中断]
  E --> F[加载最近检查点]
  F --> G[从下一轮继续]
  G --> A
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型训练实战 · 查看原书依据

      在长时间的模型训练中,意外中断可能导致时间和资源的浪费。使用中断保存与恢复机制,可以从最后保存的检查点继续训练,避免从头开始。下面将展示如何实现训练过程的中断、保存和恢复,并详细分析训练中断对模型收敛的影响。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0004.xhtml) - 结论依据:原文先说明中断可导致时间与资源浪费、可从最后检查点继续,随后给出加载检查点并从 epoch 11 继续打印的运行结果。 - 原始内容:在长时间的模型训练中,意外中断可能导致时间和资源的浪费。使用中断保存与恢复机制,可以从最后保存的检查点继续训练,避免从头开始。下面将展示如何实现训练过程的中断、保存和恢复,并详细分析训练中断对模型收敛的影响。