原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
传递的浮点运算(Floating-point Operation,FLOP)数为2N,而整个数据集D的浮点运算为2ND。
在反向传递过程中,需要计算损失相对于每个隐藏状态和参数的导数。反向传递所需的FLOP大约是前向传递所需的两倍。对整个数据集而言,反向传递的FLOP大约为4ND。
如果存在计算预算约束C,那么增加模型大小N意味着减小数据集大小D。但是,较大的数据集通常会带来更高的性能,这是需要考虑的
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d