知识卡片
注意力的QKV本质
把注意力从Encoder-Decoder中抽象出来,可以看成一次可微的查表式检索:Source由一组〈Key, Value〉对构成,Query是当前的查询向量。先用Query与各Key计算相似度得到权重,再用权重对Value加权求和,得到最终注意力值。Key决定能否被匹配,Value决定匹配后输出什么,Query决定现在要什么,三者分工使注意力成为一种通用的信息选择算子。机器翻译中,它正好对应传统统计翻译里的短语对齐步骤。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
所以本质上注意力机制是对Source中元素的Value值进行加权求和,而Query和Key是用来计算对应Value的权重系数的。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0001.xhtml)
- 结论依据:原文指出Source由〈Key,Value〉对构成,Query与Key求相似性得到权重,再对Value加权求和,强调本质上是对Source中元素的Value值进行加权求和。
- 原始内容:所以本质上注意力机制是对Source中元素的Value值进行加权求和,而Query和Key是用来计算对应Value的权重系数的。