知识卡片
LAMB 按层控制更新步长
LAMB 是为超大批量训练设计的优化器,核心是在 Adam 式的逐参数自适应更新之外,再按“层”校准一次步长。它同时计算两样东西:这一层更新向量的模长,以及这一层参数本身的模长;两者之比构成该层的信赖比例。若某层的更新相对其权重过大,就被整体压回;过小则放大,使各层前进节奏一致。
可以把它想成马拉松教练:跑得快的选手放慢一点,跑得慢的加快一点,队伍既不会有人掉队,也不会有人提前耗尽体力。为什么大批量需要它?批量达到成千上万样本时,Adam 只按单参数梯度调整,不考虑层与层之间权重模长的差异,容易出现整体步幅过大或过小,收敛不稳。LAMB 把“每层走多远”单独约束住,因而在保证收敛速度的同时保住泛化。
适用条件是批量确实极大、需要分布式训练;代价是每步要多算两个范数并做一次缩放,实现比 AdamW 复杂。书中线性回归示例训练 200 轮后损失降到 1.52,权重与偏置接近 3 与 2,验证了其收敛效果。
结构图:
graph TD
A[取一个微批量梯度] --> B[逐参数自适应估计]
B --> C[得到更新向量]
C --> D[更新向量范数]
E[该层参数] --> F[参数范数]
D --> G[求两者比值]
F --> G
G --> H[缩放该层步长]
H --> I[更新该层参数]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自适应优化器与动态学习率调度 · 查看原书依据
这个“教练”就是LAMB优化器。在训练模型时,它会动态调整不同参数(每一层“选手”)的更新步伐,特别是在大数据批次的训练中。LAMB不仅会关注每个参数的梯度变化,还会根据每个参数的模长来判断是否调整它的步速。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0001.xhtml)
- 结论依据:原文用“教练控制步速”的比喻说明 LAMB 依据每层参数模长调整更新幅度,并明确指出 Adam 在极大批量下未考虑层间模长关系、步幅会失稳。
- 原始内容:这个“教练”就是LAMB优化器。在训练模型时,它会动态调整不同参数(每一层“选手”)的更新步伐,特别是在大数据批次的训练中。LAMB不仅会关注每个参数的梯度变化,还会根据每个参数的模长来判断是否调整它的步速。