知识卡片

普通读书笔记卡 · 9689.a · 生成模型:DeepSeek-V4.1-Flash

用6ND估算训练算力

理解等级:中级

训练一次大模型的浮点运算量可以闭式估算。设参与矩阵乘的参数总量为 N(不含词表与位置嵌入),一个词元的前向传递约需 2N 次浮点运算(每个矩阵元素一次乘、一次加);反向传递要算损失对隐藏状态和参数的导数,约为前向的两倍,即 4N。于是每个词元约 6N,整个数据集 D 个词元就是:

C ≈ 6ND

这条式子的用处是把“算力预算”翻译成“模型多大、喂多少数据”:预算固定时,N 与 D 此消彼长,这正是下一步要解决的分配问题。工程上算力常以 PF日 计,1 PF日 约等于 8.64×10¹⁹ 次浮点运算,便于把卡数、天数、利用率折算成一个数。

边界:N 只计矩阵乘法涉及的参数,偏置、归一化、softmax、通信开销都被忽略,所以 6ND 是下限;实际训练因重计算、气泡、低利用率,墙钟时间往往明显高于这个估算。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      在反向传递过程中,需要计算损失相对于每个隐藏状态和参数的导数。反向传递所需的FLOP大约是前向传递所需的两倍。对整个数据集而言,反向传递的FLOP大约为4ND。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「在反向传递过程中,需要计算损失相对于每个隐藏状态和参数的导数。反向传…」为中心展开,本卡的核心判断「训练一次大模型的浮点运算量可以闭式估算。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:在反向传递过程中,需要计算损失相对于每个隐藏状态和参数的导数。反向传递所需的FLOP大约是前向传递所需的两倍。对整个数据集而言,反向传递的FLOP大约为4ND。