知识卡片

结构图卡 · 9554.a · 生成模型:DeepSeek-V4.1-Flash

LAMB 按层控制更新步长

理解等级:中级

LAMB 是为超大批量训练设计的优化器,核心是在 Adam 式的逐参数自适应更新之外,再按“层”校准一次步长。它同时计算两样东西:这一层更新向量的模长,以及这一层参数本身的模长;两者之比构成该层的信赖比例。若某层的更新相对其权重过大,就被整体压回;过小则放大,使各层前进节奏一致。

可以把它想成马拉松教练:跑得快的选手放慢一点,跑得慢的加快一点,队伍既不会有人掉队,也不会有人提前耗尽体力。为什么大批量需要它?批量达到成千上万样本时,Adam 只按单参数梯度调整,不考虑层与层之间权重模长的差异,容易出现整体步幅过大或过小,收敛不稳。LAMB 把“每层走多远”单独约束住,因而在保证收敛速度的同时保住泛化。

适用条件是批量确实极大、需要分布式训练;代价是每步要多算两个范数并做一次缩放,实现比 AdamW 复杂。书中线性回归示例训练 200 轮后损失降到 1.52,权重与偏置接近 3 与 2,验证了其收敛效果。

结构图:

graph TD
    A[取一个微批量梯度] --> B[逐参数自适应估计]
    B --> C[得到更新向量]
    C --> D[更新向量范数]
    E[该层参数] --> F[参数范数]
    D --> G[求两者比值]
    F --> G
    G --> H[缩放该层步长]
    H --> I[更新该层参数]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自适应优化器与动态学习率调度 · 查看原书依据

      这个“教练”就是LAMB优化器。在训练模型时,它会动态调整不同参数(每一层“选手”)的更新步伐,特别是在大数据批次的训练中。LAMB不仅会关注每个参数的梯度变化,还会根据每个参数的模长来判断是否调整它的步速。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0001.xhtml) - 结论依据:原文用“教练控制步速”的比喻说明 LAMB 依据每层参数模长调整更新幅度,并明确指出 Adam 在极大批量下未考虑层间模长关系、步幅会失稳。 - 原始内容:这个“教练”就是LAMB优化器。在训练模型时,它会动态调整不同参数(每一层“选手”)的更新步伐,特别是在大数据批次的训练中。LAMB不仅会关注每个参数的梯度变化,还会根据每个参数的模长来判断是否调整它的步速。