原书出处
大语言模型-基础与前沿 (熊涛)
03 第3章 Transformer
验表明,在8B的尺度下质量略有下降,但在62B的尺度下质量没有下降,这表明并行层的影响在540B的尺度下应该不影响质量。
标准Transformer公式使用k个注意力头,其中每个时间步的输入向量被线性地投影到“查询”“键”和“值”张量中。
然而,研究人员发现,可以为每个头共享键/值投影,从而节省大量的自回归解码时间。 之所以Su et al(2021)使用R
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d