原书出处
大语言模型-基础与前沿 (熊涛)
03 第3章 Transformer
大的外推能力,即使在更长的上下文中进行推理时也是如此。 iii 图3-3 ALiBi注意力增强的图示 7. 旋转位置嵌入
Su et al(2021)引入了旋转位置嵌入(Rotary Position Embedding,RoPE)方法,这是一种通过使用旋转矩阵将绝对位置信息编码到Transformer中的技术。该矩阵与每个注意力层的键和值矩阵相乘,以合并每层的相对位置信息。
为了以仅考虑相对位置的方式表述第i个键和第j个查询之间的内积,RoPE利用了欧几里得空间中的旋转操作。这是通过将特征矩阵
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d