知识卡片
RoPE:用旋转表示相对位置
思路:绝对位置信息不一定非要“加”进去。把查询和键向量按各自位置旋转一个角度,再做内积,结果只与两个位置的角度差有关,于是绝对位置的旋转自然等价于相对位置的表达。
实现:把 d 维空间划成 d/2 个二维子空间,每个子空间按不同频率旋转,位置越靠后转过的角度越大;旋转矩阵乘在每层的键和查询上。
好处:位置信息不占额外维度、不改变向量范数,内积保持稳定;相对性内建在计算里,长度外推表现较好,长序列任务上常优于绝对或普通的相对编码,因此在 PaLM 等模型中被采用。
注意:它形式上与正弦编码相近,但作用点不同——正弦编码加在输入端,RoPE 作用在每一层的注意力投影之后,且只影响查询与键的夹角。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
Su et al(2021)引入了旋转位置嵌入(Rotary Position Embedding,RoPE)方法,这是一种通过使用旋转矩阵将绝对位置信息编码到Transformer中的技术。该矩阵与每个注意力层的键和值矩阵相乘,以合并每层的相对位置信息。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「Su et al(2021)引入了旋转位置嵌入(Rotary Pos…」为中心展开,本卡的核心判断「思路:绝对位置信息不一定非要“加”进去。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Su et al(2021)引入了旋转位置嵌入(Rotary Position Embedding,RoPE)方法,这是一种通过使用旋转矩阵将绝对位置信息编码到Transformer中的技术。该矩阵与每个注意力层的键和值矩阵相乘,以合并每层的相对位置信息。