← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9557.e · 生成模型:DeepSeek-V4.1-Flash

调度器让学习率逐步下降

理解等级:中级

固定学习率在训练后期会拖慢收敛:接近最优点时,同样的步长让参数在最优点附近来回跳。调度器的作用是让学习率随训练进程衰减。原文用 AdamW 搭配线性学习率调度器,在每个 epoch 结束时把学习率逐步调低,使前期步子大、后期步子小。

线性衰减的形状是”从初始值均匀降到接近零”:早期保持较高学习率以快速压低 loss,后期收细步长以减少震荡。相比阶梯式衰减,它更平滑,不需要手工设定每段的降幅;代价是要预先知道总训练步数,否则衰减节奏与实际进度对不上——训练被截断时学习率还没降下来,或还没训完学习率已接近零。

调度器与学习率初值是同一套策略的两端:初值决定起点,调度决定轨迹。原文示例 3 个 epoch 的 loss 从 0.6243 降到 0.4821,就是这套组合的结果。权重衰减作为另一个独立旋钮,见 [[权重衰减压制过拟合]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型微调实战 · 查看原书依据

      (3)优化器与调度器设置:使用AdamW优化器结合线性学习率调度器。在每个epoch结束时,调度器逐步降低学习率,提升收敛效果。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0003.xhtml) - 结论依据:原文代码解析第(3)条说明使用 AdamW 结合线性学习率调度器,并在每个 epoch 结束时逐步降低学习率。 - 原始内容:(3)优化器与调度器设置:使用AdamW优化器结合线性学习率调度器。在每个epoch结束时,调度器逐步降低学习率,提升收敛效果。