原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
r模块、扩大现有模块、增加注意力头或提高嵌入维度的决定可能并不重要。相反,最重要的是模型中参数的总数。 ·“平滑幂律”。
性能与N、D和C成幂律关系,趋势跨越6个数量级以上。虽然没有证据表明这些趋势在偏离上限,但在达到零损失之前,性能最终必然趋于平稳。
这一规律的意义在于,它能够利用来自较小模型的数据来促进对较大模型结果的预测。然后,就可以利用这些预测结果,就大型模型的训
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d