← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

03 第3章 Transformer

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.826Z

大的外推能力,即使在更长的上下文中进行推理时也是如此。 iii 图3-3 ALiBi注意力增强的图示 7. 旋转位置嵌入

Su et al(2021)引入了旋转位置嵌入(Rotary Position Embedding,RoPE)方法,这是一种通过使用旋转矩阵将绝对位置信息编码到Transformer中的技术。该矩阵与每个注意力层的键和值矩阵相乘,以合并每层的相对位置信息。

为了以仅考虑相对位置的方式表述第i个键和第j个查询之间的内积,RoPE利用了欧几里得空间中的旋转操作。这是通过将特征矩阵

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d