← 返回卡片

原书出处

大模型技术30讲

32 附录 练习答案

核验版本的摘录快照 · 导入于 2026-11-18T10:51:38.341Z

任何需要存储的额外参数。 Adam优化器更复杂,且需要更多的存储空间。具体来说,

Adam优化器为每个参数保留了过去梯度(一阶矩)的指数衰减平均值和过去平方梯度(二阶原始矩)的指数衰减平均值。

因此,对于网络中的每个参数,Adam优化器需要存储两个额外的值。如果网络中有 个

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0040.xhtml

EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec