知识卡片
参数量估算显存占用
参数量给出模型规模的第一近似,可用来估存储与显存:权重体积约等于参数量乘每参数字节数(fp32 为 4 B,fp16 为 2 B)。训练时的常驻开销远大于权重,因为还要存梯度和优化器状态。
| 项目 | SGD | Adam | | 权重 | 1× | 1× | | 梯度 | 1× | 1× | | 优化器状态 | 0 | 2×(一阶、二阶动量) | | 合计 | 2× | 4× |
即 26926 个参数在 fp32 + Adam 下约需 26926×4×4 B ≈ 430 KB,而激活值、批大小与中间矩阵乘法会再抬高实际占用。用途:判断模型能否装进给定 GPU、估算切分与批大小上限。
边界:这是下界而非实测值,推理与训练、是否混合精度、是否梯度检查点都会改变系数;书中也只说它能给出“大致了解”,可行性最终要靠跑一次验证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 计算参数量 · 查看原书依据
参数量还能帮助我们估计神经网络的大小,进而评估该网络是否能装载到GPU显存中。尽管训练期间的实际内存需求往往会超过模型本身的大小,比如执行矩阵乘法以及存储梯度会产生额外的内存需求
参考来源
- 位置:《大模型技术30讲》第11讲 计算参数量(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0016.xhtml)
- 结论依据:第11章 11.2 实际应用,及 11.3 练习 11-1 关于 SGD/Adam 存储量的提示
- 原始内容:参数量还能帮助我们估计神经网络的大小,进而评估该网络是否能装载到GPU显存中。尽管训练期间的实际内存需求往往会超过模型本身的大小,比如执行矩阵乘法以及存储梯度会产生额外的内存需求