知识卡片
位置嵌入:顺序如何注入
问题:注意力对输入排列是等变的,同一组词换个顺序,打分矩阵只是行列重排,输出也随之重排,模型无法区分语序。因此必须额外告诉模型“谁在前、谁在后”。
两种编码:绝对位置编码给每个位置一个标识;相对位置编码只描述两个位置之间的距离。后者往往更贴近语言事实:相隔三个词的关系,比“第 17 个词”这种绝对编号更有意义。
两种接入方式:一种是把位置向量加到词元嵌入上再送入网络(APE);另一种是不动输入,直接给注意力矩阵加偏置或乘因子(MAM)。前者实现简单,但只在入口注入,需要逐层传播;后者每层都能重新注入位置信息,控制更直接。
具体方案:正弦编码由固定公式生成,不参与训练,参数效率高、可处理训练未见过的长度;可学习编码更灵活,但受最大长度约束。序列很长时,还可以把位置矩阵按段分解(轴向编码)来省参数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
在自然语言处理中,位置编码是一种允许模型考虑句子中单词顺序的重要技术。一种处理方法是使用绝对位置编码,即对序列中每个单词的绝对位置进行编码;另一种方法是使用相对位置编码,即对每个单词相对于序列中其他单词的位置进行编码。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「在自然语言处理中,位置编码是一种允许模型考虑句子中单词顺序的重要技术…」为中心展开,本卡的核心判断「问题:注意力对输入排列是等变的,同一组词换个顺序,打分矩阵只是行列重排,输出也随之重排,模型无法区分语序。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:在自然语言处理中,位置编码是一种允许模型考虑句子中单词顺序的重要技术。一种处理方法是使用绝对位置编码,即对序列中每个单词的绝对位置进行编码;另一种方法是使用相对位置编码,即对每个单词相对于序列中其他单词的位置进行编码。