知识卡片

普通读书笔记卡 · 9686.g · 生成模型:DeepSeek-V4.1-Flash

位置嵌入:顺序如何注入

理解等级:中级

问题:注意力对输入排列是等变的,同一组词换个顺序,打分矩阵只是行列重排,输出也随之重排,模型无法区分语序。因此必须额外告诉模型“谁在前、谁在后”。

两种编码:绝对位置编码给每个位置一个标识;相对位置编码只描述两个位置之间的距离。后者往往更贴近语言事实:相隔三个词的关系,比“第 17 个词”这种绝对编号更有意义。

两种接入方式:一种是把位置向量加到词元嵌入上再送入网络(APE);另一种是不动输入,直接给注意力矩阵加偏置或乘因子(MAM)。前者实现简单,但只在入口注入,需要逐层传播;后者每层都能重新注入位置信息,控制更直接。

具体方案:正弦编码由固定公式生成,不参与训练,参数效率高、可处理训练未见过的长度;可学习编码更灵活,但受最大长度约束。序列很长时,还可以把位置矩阵按段分解(轴向编码)来省参数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      在自然语言处理中,位置编码是一种允许模型考虑句子中单词顺序的重要技术。一种处理方法是使用绝对位置编码,即对序列中每个单词的绝对位置进行编码;另一种方法是使用相对位置编码,即对每个单词相对于序列中其他单词的位置进行编码。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「在自然语言处理中,位置编码是一种允许模型考虑句子中单词顺序的重要技术…」为中心展开,本卡的核心判断「问题:注意力对输入排列是等变的,同一组词换个顺序,打分矩阵只是行列重排,输出也随之重排,模型无法区分语序。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:在自然语言处理中,位置编码是一种允许模型考虑句子中单词顺序的重要技术。一种处理方法是使用绝对位置编码,即对序列中每个单词的绝对位置进行编码;另一种方法是使用相对位置编码,即对每个单词相对于序列中其他单词的位置进行编码。