知识卡片

普通读书笔记卡 · 9854.o · 生成模型:Hunyuan

多头注意力机制

理解等级:中级

多头注意力把缩放点积注意力并行做h次,Transformer使用8个头,每头有独立的Q/K/V投影矩阵,最后把各头输出拼接再经WO映射。它从三方面增强能力:扩展关注不同位置的能力、把注意力过程重复多次后合并、为注意力层提供多个表示子空间,类似卷积网络中不同卷积核提取不同风格。各头投影随机初始化,训练后各自捕捉不同关系,使模型能同时从多个视角理解同一句话。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      多头注意力机制可以从3个方面提升注意力层的性能。 1)它扩展了模型专注于不同位置的能力。 2)将缩放点积注意力过程做h次,再把输出合并起来。 3)它为注意力层(Attention Layer)提供了多个“表示子空间”。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0003.xhtml) - 结论依据:原文列出多头注意力提升性能的三个方面,并说明Transformer使用八个关注头、每头有独立的查询/键/值权重矩阵。 - 原始内容:多头注意力机制可以从3个方面提升注意力层的性能。 1)它扩展了模型专注于不同位置的能力。 2)将缩放点积注意力过程做h次,再把输出合并起来。 3)它为注意力层(Attention Layer)提供了多个“表示子空间”。