← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

03 第3章 Transformer

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.825Z

验表明,在8B的尺度下质量略有下降,但在62B的尺度下质量没有下降,这表明并行层的影响在540B的尺度下应该不影响质量。

标准Transformer公式使用k个注意力头,其中每个时间步的输入向量被线性地投影到“查询”“键”和“值”张量中。

然而,研究人员发现,可以为每个头共享键/值投影,从而节省大量的自回归解码时间。 之所以Su et al(2021)使用R

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d