知识卡片

普通读书笔记卡 · 9686.i · 生成模型:DeepSeek-V4.1-Flash

RoPE:用旋转表示相对位置

理解等级:高级

思路:绝对位置信息不一定非要“加”进去。把查询和键向量按各自位置旋转一个角度,再做内积,结果只与两个位置的角度差有关,于是绝对位置的旋转自然等价于相对位置的表达。

实现:把 d 维空间划成 d/2 个二维子空间,每个子空间按不同频率旋转,位置越靠后转过的角度越大;旋转矩阵乘在每层的键和查询上。

好处:位置信息不占额外维度、不改变向量范数,内积保持稳定;相对性内建在计算里,长度外推表现较好,长序列任务上常优于绝对或普通的相对编码,因此在 PaLM 等模型中被采用。

注意:它形式上与正弦编码相近,但作用点不同——正弦编码加在输入端,RoPE 作用在每一层的注意力投影之后,且只影响查询与键的夹角。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      Su et al(2021)引入了旋转位置嵌入(Rotary Position Embedding,RoPE)方法,这是一种通过使用旋转矩阵将绝对位置信息编码到Transformer中的技术。该矩阵与每个注意力层的键和值矩阵相乘,以合并每层的相对位置信息。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「Su et al(2021)引入了旋转位置嵌入(Rotary Pos…」为中心展开,本卡的核心判断「思路:绝对位置信息不一定非要“加”进去。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Su et al(2021)引入了旋转位置嵌入(Rotary Position Embedding,RoPE)方法,这是一种通过使用旋转矩阵将绝对位置信息编码到Transformer中的技术。该矩阵与每个注意力层的键和值矩阵相乘,以合并每层的相对位置信息。