知识卡片

普通读书笔记卡 · 9554.e · 生成模型:DeepSeek-V4.1-Flash

余弦退火先降后升的周期

理解等级:中级

余弦退火让学习率沿着余弦曲线走完一个“降—升”的完整周期,而不只是一路下降。CosineAnnealingLR 的 T_max 规定一个周期的长度:书中取 50,学习率从 0.1 出发,第 2 轮 0.09901、第 3 轮 0.09605,中段下降加快,第 48 轮 0.0099、第 49 轮 0.00247,第 50 轮触到 0,随后第 51 轮回升到 0.00247、第 52 轮 0.0099,直到第 100 轮回到 0.09901 附近。

这条曲线的两个特征都有用途:末段趋近于零,适合在最优点附近做极精细的调整,避免末期震荡;周期结束后的回升相当于一次“重新启动”,把学习率抬高,帮助模型离开已经陷住的区域。

边界在于 T_max 与训练总长度的关系。如果只希望单调衰减,就应让 T_max 等于总轮数,否则后半程学习率会回升,训练末期的收敛效果反而不如线性衰减;如果确实想要反复重启,使用专门的带重启调度器更清楚(见 [[余弦重启周期逐渐变长]])。与 [[线性衰减把学习率踩回低位]] 相比,它多了一次次抬升的机会,代价是末段不再是稳定的小步。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自适应优化器与动态学习率调度 · 查看原书依据

      余弦退火的核心思想是让学习率按照余弦曲线下降。初始阶段学习率较高,然后逐渐下降,每个周期下降速度逐渐变慢,周期结束后又会“重新启动”,形成一个新的周期。这种波动有助于模型逃离局部最优解。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0003.xhtml) - 结论依据:原文说明余弦退火“每个周期下降速度逐渐变慢,周期结束后又会重新启动”,并给出 50 轮触底、随后回升的完整学习率输出序列。 - 原始内容:余弦退火的核心思想是让学习率按照余弦曲线下降。初始阶段学习率较高,然后逐渐下降,每个周期下降速度逐渐变慢,周期结束后又会“重新启动”,形成一个新的周期。这种波动有助于模型逃离局部最优解。