知识卡片

普通读书笔记卡 · 9854.b · 生成模型:Hunyuan

注意力的QKV本质

理解等级:中级

把注意力从Encoder-Decoder中抽象出来,可以看成一次可微的查表式检索:Source由一组〈Key, Value〉对构成,Query是当前的查询向量。先用Query与各Key计算相似度得到权重,再用权重对Value加权求和,得到最终注意力值。Key决定能否被匹配,Value决定匹配后输出什么,Query决定现在要什么,三者分工使注意力成为一种通用的信息选择算子。机器翻译中,它正好对应传统统计翻译里的短语对齐步骤。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0001.xhtml) - 结论依据:原文指出Source由〈Key,Value〉对构成,Query与Key求相似性得到权重,再对Value加权求和,强调本质上是对Source中元素的Value值进行加权求和。 - 原始内容:所以本质上注意力机制是对Source中元素的Value值进行加权求和,而Query和Key是用来计算对应Value的权重系数的。