知识卡片
AdamW权重衰减抑制过拟合
AdamW 是在 Adam 的基础上加入权重衰减的优化器,针对的是模型对显眼特征的过度依赖。Adam 部分会逐步“记住”每个特征对模型的影响,让模型在陡峭的坡道上轻缓慢行、在平坦的路段上快速前进,从而抑制大幅振荡;但这份记忆本身会让某些权重越走越极端,训练集里的偏见被固化,换一份数据后泛化就变差。
权重衰减相当于给每个参数配一个固定的“忘记系数”:不论当前梯度大小,参数每一步都按比例向零收缩一点,形成一种“定期清理”。于是模型仍然保留对重要特征的记忆,却不会盲目放大它们,关注度被重新分配。这带来两个直接效果:训练过程更稳定,参数不容易剧烈波动;泛化能力提升,模型不再被少数特征拖累。
代价在系数上:衰减过强时参数被压得过狠,模型学不动;过弱时清理无效,等于退回普通 Adam。书中回归示例训练 200 轮,损失从 6.43 降到 2.17,权重与偏置收敛到接近 2 与 3 的目标值,说明这种组合在简单任务上能稳定收敛。
与 [[LAMB 按层控制更新步长]] 相比,AdamW 关注单个参数的历史,LAMB 关注整层的相对步幅。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自适应优化器与动态学习率调度 · 查看原书依据
在学习时,模型可能会因为一些特征过于明显而对它们产生过度依赖,这样容易导致模型偏见严重,泛化能力变差。AdamW通过“权重衰减”来防止这种情况,这就像为每个特征设置了一个“忘记系数”。这样一来,模型不会盲目放大某些特征,而是合理分配关注度。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0001.xhtml)
- 结论依据:原文把 AdamW 的增益归为“权重衰减”这一“忘记系数”,并说明它防止模型盲目放大某些特征、提升泛化,末段用 200 轮训练的损失与参数收敛结果佐证。
- 原始内容:在学习时,模型可能会因为一些特征过于明显而对它们产生过度依赖,这样容易导致模型偏见严重,泛化能力变差。AdamW通过“权重衰减”来防止这种情况,这就像为每个特征设置了一个“忘记系数”。这样一来,模型不会盲目放大某些特征,而是合理分配关注度。