知识卡片
线性衰减把学习率踩回低位
线性衰减在每个 epoch 按固定差值把学习率从初值降到终值,曲线是一条向下的直线。书中设定 20 个 epoch、从 0.1 降到 0.01,每轮下降约 0.0045;输出为 0.1、0.0955、0.091……直到第 20 轮恰好等于 0.01,同一过程的损失从 0.553 降到 0.176。
它的合理性来自训练不同阶段对步长的不同需求:初期参数离最优解远,大学习率能快速接近;后期已在谷底附近,大步长会反复跨过最优点,需要小步细调。就像开车时先踩大油门赶路,快到目的地再收油,避免冲过头。
使用前提是训练总轮数事先确定,因为衰减表按 epoch 排布,总长度一变,每轮降幅就跟着变。边界也很明确:曲线单调下降、不会回升,因而没有跳出局部最优的能力;如果总轮数估得偏差较大,末期学习率可能仍然偏大,或者过早趋近于零而浪费后半程。
与 [[余弦退火先降后升的周期]] 相比,线性衰减在末段降得更“匀速”,不会在接近终点时突然变缓,也不会有周期性的回升。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自适应优化器与动态学习率调度 · 查看原书依据
线性衰减是动态学习率调度的一种具体方法。它通过在训练过程中以一种线性方式(即等比下降)逐步降低学习率,帮助模型在靠近最优解时更稳定地进行参数调整。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0003.xhtml)
- 结论依据:原文给出“以线性方式逐步降低学习率”的定义、0.1 到 0.01 的示例及每轮约 0.0045 的降幅,并解释了初期大、后期小的作用。
- 原始内容:线性衰减是动态学习率调度的一种具体方法。它通过在训练过程中以一种线性方式(即等比下降)逐步降低学习率,帮助模型在靠近最优解时更稳定地进行参数调整。