知识卡片
位置编码:给自注意力注入词序
自注意力本身对词序不敏感:把输入序列打乱,输出只是同样被打乱,模型无法区分“狗咬人”和“人咬狗”。所以必须把位置信息显式注入。做法是给每个位置 pos 生成一个与词向量同维度的位置编码向量 PE(pos),直接加到词向量上,再送入网络。一种常见构造是正弦、余弦函数:PE(pos,2i)=sin(pos/10000^(2i/d_model)),PE(pos,2i+1)=cos(pos/10000^(2i/d_model)),i 是维度序号,d_model 是模型维度。偶数维用 sin、奇数维用 cos,不同维度对应不同频率的曲线:低维变化快、高维变化慢,于是每个位置都得到一个唯一且平滑变化的“指纹”。用三角函数而不是可学习的位置向量,好处是不受最大序列长度限制;又由 sin/cos 的加法定理,位置 pos+k 的编码可由 pos 的编码经线性变换得到,模型因此更容易学到相对位置关系。解码器端同样要把位置编码加到输入上,否则生成的词序也无从约束。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 搜索系统中的主要算法 · 查看原书依据
输入的句子可以看作是有序的词向量组合,所以词在输入句子中的位置信息也很重要。最简单的方法是,只要我们加入位置的向量编码,并和每个词向量相结合,则输入的词向量就会带有序列信息。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0080.html)
- 结论依据:原文指出句子是有序词向量的组合、位置信息重要,并给出把位置编码与词向量相加的做法,说明位置信息必须显式注入才能被模型利用。
- 原始内容:输入的句子可以看作是有序的词向量组合,所以词在输入句子中的位置信息也很重要。最简单的方法是,只要我们加入位置的向量编码,并和每个词向量相结合,则输入的词向量就会带有序列信息。