← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.839Z

r模块、扩大现有模块、增加注意力头或提高嵌入维度的决定可能并不重要。相反,最重要的是模型中参数的总数。 ·“平滑幂律”。

性能与N、D和C成幂律关系,趋势跨越6个数量级以上。虽然没有证据表明这些趋势在偏离上限,但在达到零损失之前,性能最终必然趋于平稳。

这一规律的意义在于,它能够利用来自较小模型的数据来促进对较大模型结果的预测。然后,就可以利用这些预测结果,就大型模型的训

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d