知识卡片
余弦重启周期逐渐变长
CosineAnnealingWarmRestarts 在余弦退火之上加了“反复重启”:每个周期内学习率按余弦曲线从初值降到接近 0,周期一结束就跳回初值,开始下一轮。T_0 是第一个周期的长度,T_mult 是周期长度的倍增因子——书中取值 10 与 2,周期依次变成 10、20、40 轮。
这样安排的效果是前密后疏:早期周期短,模型频繁被“推一把”,在参数空间里做较粗的探索;后期周期变长,学习率在低位停留更久,留给模型细致收敛的时间。相比只走一次的 [[余弦退火先降后升的周期]],它的重启不是偶然的后半程回升,而是贯穿全程的设计。
使用前提是训练轮次足够长,否则还没走完一两个周期就结束了,重启的意义体现不出来。代价是重启瞬间的学习率跳变会引起损失尖峰,观察曲线时要能区分“重启造成的正常波动”和“训练发散”;此外,T_0 与 T_mult 设得不合适时,可能在模型尚未收敛时就被下一次重启打断。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自适应优化器与动态学习率调度 · 查看原书依据
CosineAnnealingWarmRestarts是余弦退火和周期性重启相结合的调度器,它会在一定周期内通过余弦退火衰减学习率,但在每个周期结束时重启学习率到初始值。这样可以在训练中后期避免模型陷入局部最优。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0004.xhtml)
- 结论依据:原文说明该调度器“在一定周期内通过余弦退火衰减学习率,但在每个周期结束时重启学习率到初始值”,并解释 T_0 为初始周期长度、T_mult 为周期倍增因子。
- 原始内容:CosineAnnealingWarmRestarts是余弦退火和周期性重启相结合的调度器,它会在一定周期内通过余弦退火衰减学习率,但在每个周期结束时重启学习率到初始值。这样可以在训练中后期避免模型陷入局部最优。