知识卡片
多头注意力机制
多头注意力把缩放点积注意力并行做h次,Transformer使用8个头,每头有独立的Q/K/V投影矩阵,最后把各头输出拼接再经WO映射。它从三方面增强能力:扩展关注不同位置的能力、把注意力过程重复多次后合并、为注意力层提供多个表示子空间,类似卷积网络中不同卷积核提取不同风格。各头投影随机初始化,训练后各自捕捉不同关系,使模型能同时从多个视角理解同一句话。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
多头注意力机制可以从3个方面提升注意力层的性能。 1)它扩展了模型专注于不同位置的能力。 2)将缩放点积注意力过程做h次,再把输出合并起来。 3)它为注意力层(Attention Layer)提供了多个“表示子空间”。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0003.xhtml)
- 结论依据:原文列出多头注意力提升性能的三个方面,并说明Transformer使用八个关注头、每头有独立的查询/键/值权重矩阵。
- 原始内容:多头注意力机制可以从3个方面提升注意力层的性能。 1)它扩展了模型专注于不同位置的能力。 2)将缩放点积注意力过程做h次,再把输出合并起来。 3)它为注意力层(Attention Layer)提供了多个“表示子空间”。