知识卡片

普通读书笔记卡 · 9554.i · 生成模型:DeepSeek-V4.1-Flash

阶梯与指数两种粗调

理解等级:初级

StepLR 与 ExponentialLR 都是按 epoch 计数、机械地压低学习率的调度,区别只在下降的形状。

调度器 触发条件 曲线形状 关键参数
StepLR 每隔 step_size 个 epoch 调一次 台阶式,每档相同 step_size、gamma
ExponentialLR 每个 epoch 都调 指数下滑,越来越小 gamma

StepLR 在预定阶段把学习率一次性乘以 gamma,形成明显的分档,适合训练阶段划分清楚的稳定任务:前段保持较高学习率,到了某个节点整体降一档。ExponentialLR 每轮都乘 gamma,下降更快,适合前期需要大幅调整、后期保持极小学习率的场景。

两者的共同优点是简单、可复现、不依赖训练表现;共同缺点也在这里——降档时机由 epoch 数决定,与模型是否真的收敛无关,可能在该降的时候没降,也可能在还没学完时就把学习率压死。gamma 取 0 到 1 之间,越小降得越狠,0.1 表示只保留原来的十分之一。

如果希望降档由模型的停滞来决定而不是由计数决定,应改用 [[指标不降才降学习率]];若想要连续平滑的下降,则用 [[余弦退火先降后升的周期]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自适应优化器与动态学习率调度 · 查看原书依据

      StepLR是最简单的一种学习率调度器,它会在设定的时间间隔(epoch)后将学习率按固定比例减少。这个方法通常用于稳定的任务,在达到特定训练阶段后逐步减小学习率,帮助模型更稳定地收敛。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0004.xhtml) - 结论依据:原文分别给出 StepLR 按固定间隔、以 gamma 比例缩减,以及 ExponentialLR 按指数衰减公式每个 epoch 缩小学习率的说明,并列出 step_size 与 gamma 的含义。 - 原始内容:StepLR是最简单的一种学习率调度器,它会在设定的时间间隔(epoch)后将学习率按固定比例减少。这个方法通常用于稳定的任务,在达到特定训练阶段后逐步减小学习率,帮助模型更稳定地收敛。