知识卡片

操作参考卡 · 9661.b · 生成模型:DeepSeek-V4.1-Flash

参数量估算显存占用

理解等级:中级

参数量给出模型规模的第一近似,可用来估存储与显存:权重体积约等于参数量乘每参数字节数(fp32 为 4 B,fp16 为 2 B)。训练时的常驻开销远大于权重,因为还要存梯度和优化器状态。

| 项目 | SGD | Adam | | 权重 | 1× | 1× | | 梯度 | 1× | 1× | | 优化器状态 | 0 | 2×(一阶、二阶动量) | | 合计 | 2× | 4× |

即 26926 个参数在 fp32 + Adam 下约需 26926×4×4 B ≈ 430 KB,而激活值、批大小与中间矩阵乘法会再抬高实际占用。用途:判断模型能否装进给定 GPU、估算切分与批大小上限。

边界:这是下界而非实测值,推理与训练、是否混合精度、是否梯度检查点都会改变系数;书中也只说它能给出“大致了解”,可行性最终要靠跑一次验证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 计算参数量 · 查看原书依据

      参数量还能帮助我们估计神经网络的大小,进而评估该网络是否能装载到GPU显存中。尽管训练期间的实际内存需求往往会超过模型本身的大小,比如执行矩阵乘法以及存储梯度会产生额外的内存需求

    参考来源

    - 位置:《大模型技术30讲》第11讲 计算参数量(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0016.xhtml) - 结论依据:第11章 11.2 实际应用,及 11.3 练习 11-1 关于 SGD/Adam 存储量的提示 - 原始内容:参数量还能帮助我们估计神经网络的大小,进而评估该网络是否能装载到GPU显存中。尽管训练期间的实际内存需求往往会超过模型本身的大小,比如执行矩阵乘法以及存储梯度会产生额外的内存需求