原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
隐藏状态和参数的导数。反向传递所需的FLOP大约是前向传递所需的两倍。对整个数据集而言,反向传递的FLOP大约为4ND。
如果存在计算预算约束C,那么增加模型大小N意味着减小数据集大小D。但是,较大的数据集通常会带来更高的性能,这是需要考虑的问题。
非嵌入训练的总计算量可以通过C ≈ 6ND来估算。数值以“PF日”表示,其中单个PF日等于1015×24×3600=8.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d