← 返回刚才阅读的位置

知识卡片

问题卡 · 9682 · 生成模型:DeepSeek-V4.1-Flash

Adam 的显存要按参数翻倍

理解等级:中级

题目要求比较 SGD 与 Adam 在存储开销上的差别。答案是:SGD 只有一个超参数学习率,除了反向传播为每个权重算出的梯度(以及算梯度所需的层激活)之外,不引入任何需要持久保存的额外状态;Adam 则要为每个参数维护两个量——过去梯度(一阶矩)的指数衰减平均,和过去平方梯度(二阶原始矩)的指数衰减平均。于是参数量为 P 的网络,Adam 需要额外存 2P 个值。附录用 AlexNet 收尾:26926 个参数对应 53852(2×26926)个附加标量。这条算式的一般性结论是,优化器状态是随参数量线性增长的一项显存成本,而非可以忽略的常数。它直接解释了为什么数据并行只切权重张量并不够——梯度、优化器状态、激活都要一起切,DeepSpeed 的 ZeRO 一类技术正是把优化器状态也纳入分片;也解释了为什么 Adam 在同等模型上比 SGD 更容易先撞到显存墙,而不是算力墙。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》附录 练习答案(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0040.xhtml) - 结论依据:第 11 章练习 11-1 的答案给出了每参数两个矩估计的记账方式与 AlexNet 的具体数字。 - 原始内容:Adam优化器为每个参数保留了过去梯度(一阶矩)的指数衰减平均值和过去平方梯度(二阶原始矩)的指数衰减平均值。