← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9554.k · 生成模型:DeepSeek-V4.1-Flash

余弦重启周期逐渐变长

理解等级:中级

CosineAnnealingWarmRestarts 在余弦退火之上加了“反复重启”:每个周期内学习率按余弦曲线从初值降到接近 0,周期一结束就跳回初值,开始下一轮。T_0 是第一个周期的长度,T_mult 是周期长度的倍增因子——书中取值 10 与 2,周期依次变成 10、20、40 轮。

这样安排的效果是前密后疏:早期周期短,模型频繁被“推一把”,在参数空间里做较粗的探索;后期周期变长,学习率在低位停留更久,留给模型细致收敛的时间。相比只走一次的 [[余弦退火先降后升的周期]],它的重启不是偶然的后半程回升,而是贯穿全程的设计。

使用前提是训练轮次足够长,否则还没走完一两个周期就结束了,重启的意义体现不出来。代价是重启瞬间的学习率跳变会引起损失尖峰,观察曲线时要能区分“重启造成的正常波动”和“训练发散”;此外,T_0 与 T_mult 设得不合适时,可能在模型尚未收敛时就被下一次重启打断。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自适应优化器与动态学习率调度 · 查看原书依据

      CosineAnnealingWarmRestarts是余弦退火和周期性重启相结合的调度器,它会在一定周期内通过余弦退火衰减学习率,但在每个周期结束时重启学习率到初始值。这样可以在训练中后期避免模型陷入局部最优。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0004.xhtml) - 结论依据:原文说明该调度器“在一定周期内通过余弦退火衰减学习率,但在每个周期结束时重启学习率到初始值”,并解释 T_0 为初始周期长度、T_mult 为周期倍增因子。 - 原始内容:CosineAnnealingWarmRestarts是余弦退火和周期性重启相结合的调度器,它会在一定周期内通过余弦退火衰减学习率,但在每个周期结束时重启学习率到初始值。这样可以在训练中后期避免模型陷入局部最优。