知识卡片
优化器定步子调度定节奏
优化器与学习率调度器解决的是两个不同层面的问题:优化器决定“这一步往哪走、走多大”,调度器决定“这个步长随训练进程如何变化”。前者作用在参数空间,后者作用在时间轴上。本章的几种手段可以按这两层归类:
| 手段 | 解决的问题 | 起作用的阶段 |
|---|---|---|
| AdamW | 特征过度依赖、更新震荡 | 全程 |
| LAMB | 超大批量下各层步长失衡 | 大批量预训练 |
| 梯度累积 | 显存装不下目标批量 | 全程(数据管线) |
| Warmup | 初期参数随机导致的不稳 | 开头 |
| 线性/余弦衰减 | 后期需要小步精调 | 主体与收尾 |
| 循环学习率 | 长训练中难以跳出局部区域 | 全程周期 |
看清这层分工,配置训练时就有顺序:先定逐参数更新方式(AdamW 或 LAMB),再定等效批量的凑法(梯度累积步数),最后铺学习率轨迹(预热接衰减)。三者互相牵制——批量变大后合适的学习率会变,预热长度又取决于总步数,因此单独调一项往往收益有限,问题常常出在组合上。典型的完整方案是 LAMB 或 AdamW 更新、梯度累积凑批量、开头预热、主体余弦衰减。
相关卡片:[[AdamW权重衰减抑制过拟合]]、[[预热结束后交给谁]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自适应优化器与动态学习率调度 · 查看原书依据
动态学习率调度本质上是一种在训练深度学习模型时调整学习率的方法,目的是让模型在训练过程中表现得更高效、稳定。在训练的初期,学习率保持在一个较高的水平,以加速收敛;而在训练接近尾声时,学习率会逐渐降低,使模型更细致地调整参数。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0003.xhtml)
- 结论依据:原文把动态调度定义为“在训练深度学习模型时调整学习率的方法”,并按时段说明初期需要大学习率加速收敛、后期需要小学习率细调;本章各节即按优化器、批量、学习率三层展开。
- 原始内容:动态学习率调度本质上是一种在训练深度学习模型时调整学习率的方法,目的是让模型在训练过程中表现得更高效、稳定。在训练的初期,学习率保持在一个较高的水平,以加速收敛;而在训练接近尾声时,学习率会逐渐降低,使模型更细致地调整参数。