知识卡片

普通读书笔记卡 · 9554.f · 生成模型:DeepSeek-V4.1-Flash

Warmup 先热身再提速

理解等级:初级

Warmup 的做法是在训练最开始的若干步里,把学习率从很小值逐步升到目标值,而不是一步到位用大学习率。书中示例在前 100 个 batch 内从 0.0001 逐级升到 0.01,每个 batch 加 0.0001,之后保持 0.01 不再变化。

为什么需要这段预热:模型初始参数是随机的,此时梯度方向并不可靠,若一上来就用目标学习率,参数会被大步长推向偏离方向,损失剧烈波动,甚至需要很多步才能拉回来。用小学习率起步相当于先小步试探,等参数进入一个相对合理的区域、梯度方向稳定后,再放开步长。参数规模越大、任务越复杂,这种初期不稳定的风险越明显,预热就越必要。

代价是预热期间进展缓慢:预热段占用的步数不产生有效推进,设得过长会浪费训练预算,设得过短则起不到稳定作用。预热长度应按总步数来确定,而不是固定成一个与规模无关的常数。预热结束后如何衔接后续衰减,见 [[预热结束后交给谁]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自适应优化器与动态学习率调度 · 查看原书依据

      Warmup策略通过在训练的初始阶段逐渐增加学习率,防止模型在训练初期因参数变化剧烈而不稳定,这种策略常用于大规模模型或复杂任务的优化。Warmup策略在深度学习中的作用就像跑步前的“热身运动”,它给学习率一个逐步增大的过程,而不是一开始就设置为很大的值。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0004.xhtml) - 结论依据:原文用“跑步前的热身运动”解释逐级增大学习率,指出初始参数随机时大学习率会让模型跑偏,并给出前 100 个 batch 升到 0.01 后保持不变的结果。 - 原始内容:Warmup策略通过在训练的初始阶段逐渐增加学习率,防止模型在训练初期因参数变化剧烈而不稳定,这种策略常用于大规模模型或复杂任务的优化。Warmup策略在深度学习中的作用就像跑步前的“热身运动”,它给学习率一个逐步增大的过程,而不是一开始就设置为很大的值。