← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9554 · 生成模型:DeepSeek-V4.1-Flash

AdamW权重衰减抑制过拟合

理解等级:中级

AdamW 是在 Adam 的基础上加入权重衰减的优化器,针对的是模型对显眼特征的过度依赖。Adam 部分会逐步“记住”每个特征对模型的影响,让模型在陡峭的坡道上轻缓慢行、在平坦的路段上快速前进,从而抑制大幅振荡;但这份记忆本身会让某些权重越走越极端,训练集里的偏见被固化,换一份数据后泛化就变差。

权重衰减相当于给每个参数配一个固定的“忘记系数”:不论当前梯度大小,参数每一步都按比例向零收缩一点,形成一种“定期清理”。于是模型仍然保留对重要特征的记忆,却不会盲目放大它们,关注度被重新分配。这带来两个直接效果:训练过程更稳定,参数不容易剧烈波动;泛化能力提升,模型不再被少数特征拖累。

代价在系数上:衰减过强时参数被压得过狠,模型学不动;过弱时清理无效,等于退回普通 Adam。书中回归示例训练 200 轮,损失从 6.43 降到 2.17,权重与偏置收敛到接近 2 与 3 的目标值,说明这种组合在简单任务上能稳定收敛。

与 [[LAMB 按层控制更新步长]] 相比,AdamW 关注单个参数的历史,LAMB 关注整层的相对步幅。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自适应优化器与动态学习率调度 · 查看原书依据

      在学习时,模型可能会因为一些特征过于明显而对它们产生过度依赖,这样容易导致模型偏见严重,泛化能力变差。AdamW通过“权重衰减”来防止这种情况,这就像为每个特征设置了一个“忘记系数”。这样一来,模型不会盲目放大某些特征,而是合理分配关注度。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第9章《自适应优化器与动态学习率调度》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter013_0001.xhtml) - 结论依据:原文把 AdamW 的增益归为“权重衰减”这一“忘记系数”,并说明它防止模型盲目放大某些特征、提升泛化,末段用 200 轮训练的损失与参数收敛结果佐证。 - 原始内容:在学习时,模型可能会因为一些特征过于明显而对它们产生过度依赖,这样容易导致模型偏见严重,泛化能力变差。AdamW通过“权重衰减”来防止这种情况,这就像为每个特征设置了一个“忘记系数”。这样一来,模型不会盲目放大某些特征,而是合理分配关注度。