← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9813.o · 生成模型:DeepSeek-V4.1-Flash

位置编码:给自注意力注入词序

理解等级:中级

自注意力本身对词序不敏感:把输入序列打乱,输出只是同样被打乱,模型无法区分“狗咬人”和“人咬狗”。所以必须把位置信息显式注入。做法是给每个位置 pos 生成一个与词向量同维度的位置编码向量 PE(pos),直接加到词向量上,再送入网络。一种常见构造是正弦、余弦函数:PE(pos,2i)=sin(pos/10000^(2i/d_model)),PE(pos,2i+1)=cos(pos/10000^(2i/d_model)),i 是维度序号,d_model 是模型维度。偶数维用 sin、奇数维用 cos,不同维度对应不同频率的曲线:低维变化快、高维变化慢,于是每个位置都得到一个唯一且平滑变化的“指纹”。用三角函数而不是可学习的位置向量,好处是不受最大序列长度限制;又由 sin/cos 的加法定理,位置 pos+k 的编码可由 pos 的编码经线性变换得到,模型因此更容易学到相对位置关系。解码器端同样要把位置编码加到输入上,否则生成的词序也无从约束。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 搜索系统中的主要算法 · 查看原书依据

      输入的句子可以看作是有序的词向量组合,所以词在输入句子中的位置信息也很重要。最简单的方法是,只要我们加入位置的向量编码,并和每个词向量相结合,则输入的词向量就会带有序列信息。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0080.html) - 结论依据:原文指出句子是有序词向量的组合、位置信息重要,并给出把位置编码与词向量相加的做法,说明位置信息必须显式注入才能被模型利用。 - 原始内容:输入的句子可以看作是有序的词向量组合,所以词在输入句子中的位置信息也很重要。最简单的方法是,只要我们加入位置的向量编码,并和每个词向量相结合,则输入的词向量就会带有序列信息。