知识卡片
相对位置编码
段循环带来一个位置歧义:不同段中相同索引的词会拿到相同绝对位置编码,但对当前段的建模意义不同。Transformer-XL改用相对位置编码,只关心词与词之间的相对距离:把绝对位置Uj替换为由三角函数生成、无需学习的相对编码R;把与查询位置相关的项换成可学习参数向量u和v;并把key的权重矩阵拆成内容部分与位置部分。这样同一套参数可推广到不同段,解决了循环带来的位置冲突。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
Transformer-XL为解决段循环引起不同段上单词位置的问题,在计算注意力分数时加入了相对位置编码,并对式(5.28)做了如下改动。 1)将公式(5.28)中b、d项中的绝对位置U j替换为相对位置编码,替换的目的就是只关心单词之间相对的位置
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0005.xhtml)
- 结论依据:原文指出不同段相同位置会有相同位置编码的问题,并列出替换为相对位置编码、引入u和v参数、拆分Wk三项改动。
- 原始内容:Transformer-XL为解决段循环引起不同段上单词位置的问题,在计算注意力分数时加入了相对位置编码,并对式(5.28)做了如下改动。 1)将公式(5.28)中b、d项中的绝对位置U j替换为相对位置编码,替换的目的就是只关心单词之间相对的位置