知识卡片
检查点必须带上优化器状态
检查点不只是”把权重存一份”。要让训练真正从中断处接上,落盘内容至少要含模型状态、优化器状态和当前损失。原文的实现是每隔若干 epoch 保存一次模型状态、优化器状态与损失值,理由写得很直接:长时间训练中保存状态可以防止意外终止导致的训练数据丢失。
为什么优化器状态不能省?Adam 类优化器为每个参数维护一阶、二阶矩估计,更新步长取决于这些历史量。只加载权重而让优化器从零开始,前若干步的更新幅度会偏离原来的轨迹,表现为 loss 抖动甚至短暂回升——训练没有失败,但被打断了节奏。若使用带动量或学习率调度的方案,调度器进度也应一并保存。
代价是可预期的:检查点体积约为”权重 + 优化器状态”,后者通常是参数量的两倍,大模型上单文件可达数十 GB,落盘频率与存储需要一起规划。还有一个隐含前提:保存与加载时的模型结构、优化器类型必须一致,否则键名对不上会直接报错。
这一条与 [[断点续训的保存与加载闭环]] 是同一机制的两端:存得全,才接得上。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型训练实战 · 查看原书依据
(1)中间结果保存:每隔save_interval个epoch保存一次模型状态、优化器状态以及损失值。在长时间训练中保存模型状态,可以防止意外终止导致的训练数据丢失
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0003.xhtml)
- 结论依据:原文在代码解析第(1)条中说明每隔 save_interval 个 epoch 同时保存模型状态、优化器状态与损失值,并给出防丢失的理由。
- 原始内容:(1)中间结果保存:每隔save_interval个epoch保存一次模型状态、优化器状态以及损失值。在长时间训练中保存模型状态,可以防止意外终止导致的训练数据丢失