知识卡片

结构图卡 · 9554.g · 生成模型:DeepSeek-V4.1-Flash

预热结束后交给谁

理解等级:中级

Warmup 只负责开头一段,训练主体仍需要一条完整的学习率轨迹,因此预热必须与后续策略衔接。书中给出两种接法:一是预热结束后保持恒定学习率,二是把学习率交给其他调度器继续下降(余弦、线性等)。于是整个训练被切成三段:预热段逐步抬高、主体段按某种曲线变化、收尾段用小学习率精调。

衔接处的设计要点是连续:预热结束时的值应当等于主体段的起点,否则从预热切到调度器的那一刻,学习率会出现跳变,前面积累的稳定状态被打断。书中示例把前 100 个 batch 从 0.0001 升到 0.01,之后维持 0.01,第 2 个 epoch 的第一个 batch 仍是 0.01,看不出断层——这正是衔接正确的表现。

判断是否接好,最直接的办法是打印每个 batch 的学习率并观察曲线:应当是“斜坡 + 平台/缓降”,没有突跳或断点。如果预热后直接接余弦衰减,还要确认衰减调度的首个取值与预热末值一致,否则等价于在切换点做了一次隐式的重启。

与 [[Warmup 先热身再提速]] 配合使用;后续曲线的形状参见 [[线性衰减把学习率踩回低位]]。

结构图:

graph LR
    A[参数随机初始化] --> B[预热阶段逐步升]
    B --> C{预热结束}
    C -->|保持| D[恒定学习率训练]
    C -->|衰减| E[余弦或线性衰减]
    D --> F[小学习率收尾]
    E --> F
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0004.xhtml) - 结论依据:原文写“在前几个epoch内逐渐提高学习率,后续保持学习率稳定或结合其他调度器共同使用”,并在结果中显示预热到 0.01 后保持不变。 - 原始内容:02 在PyTorch中,可以自定义一个调度器,设置在前几个epoch内逐渐提高学习率,后续保持学习率稳定或结合其他调度器共同使用。