知识卡片
RoPE编码位置
RoPE 通过旋转向量注入位置信息,使注意力不仅知道 token 内容,也能感知相对距离。它比绝对位置表更适合外推长上下文。发散:位置编码本质是在提醒模型“顺序也是语义”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
《Hands-On Large Language Models 动手操作大型语言模型》第3章《Chapter 3. Looking Inside Large Language Models 第三章. 深入了解大型语言模型》