← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.840Z

传递的浮点运算(Floating-point Operation,FLOP)数为2N,而整个数据集D的浮点运算为2ND。

在反向传递过程中,需要计算损失相对于每个隐藏状态和参数的导数。反向传递所需的FLOP大约是前向传递所需的两倍。对整个数据集而言,反向传递的FLOP大约为4ND。

如果存在计算预算约束C,那么增加模型大小N意味着减小数据集大小D。但是,较大的数据集通常会带来更高的性能,这是需要考虑的

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d