知识卡片

普通读书笔记卡 · 9854.y · 生成模型:Hunyuan

相对位置编码

理解等级:高级

段循环带来一个位置歧义:不同段中相同索引的词会拿到相同绝对位置编码,但对当前段的建模意义不同。Transformer-XL改用相对位置编码,只关心词与词之间的相对距离:把绝对位置Uj替换为由三角函数生成、无需学习的相对编码R;把与查询位置相关的项换成可学习参数向量u和v;并把key的权重矩阵拆成内容部分与位置部分。这样同一套参数可推广到不同段,解决了循环带来的位置冲突。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      Transformer-XL为解决段循环引起不同段上单词位置的问题,在计算注意力分数时加入了相对位置编码,并对式(5.28)做了如下改动。 1)将公式(5.28)中b、d项中的绝对位置U j替换为相对位置编码,替换的目的就是只关心单词之间相对的位置

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0005.xhtml) - 结论依据:原文指出不同段相同位置会有相同位置编码的问题,并列出替换为相对位置编码、引入u和v参数、拆分Wk三项改动。 - 原始内容:Transformer-XL为解决段循环引起不同段上单词位置的问题,在计算注意力分数时加入了相对位置编码,并对式(5.28)做了如下改动。 1)将公式(5.28)中b、d项中的绝对位置U j替换为相对位置编码,替换的目的就是只关心单词之间相对的位置