← 返回刚才阅读的位置

知识卡片

结构图卡 · 9546.e · 生成模型:DeepSeek-V4.1-Flash

多头注意力在多个子空间并行关注

理解等级:中级

单头自注意力只能输出一套权重分布,等于只允许模型用一种方式判断”谁和谁相关”。多头注意力的做法是把同一组 Q、K、V 沿特征维切成 h 份,每一份在自己的子空间里独立跑一次 [[自注意力用点积衡量词间相关度]],得到 h 组输出,再把它们按原顺序拼接,最后过一层线性变换得到最终结果。

这里的”多头”不是把模型变宽:切分后每个头的维度是 embed_size/h,总计算量与单头同维时基本相当,只是把一个大的相似度空间换成了 h 个更小的空间。收益在于分工——不同的头可以各自收敛到不同的关注模式,例如有的偏向相邻位置、有的偏向句法上的搭配、有的偏向远距离指代;拼接后这些视角同时进入下一层。

边界也很清楚:头数必须能整除嵌入维度,h 越大单头维度越小,太小的子空间表达能力不足;而且多头的多样性并无机制保证,训练后出现功能重复的头是常见现象。书中示例的做法还包括额外返回注意力权重,便于观察各头的分布差异。

结构图:

graph TD
  A[Q K V 矩阵] --> B[沿特征维切成 h 个头]
  B --> C[每个头独立做缩放点积注意力]
  C --> D[拼接各头输出]
  D --> E[线性变换得最终输出]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Transformer模型基础 · 查看原书依据

      多头注意力机制首先生成查询(Q)、键(K)和值(V)矩阵,然后将这些矩阵分割成多个头(子空间),每个头执行独立的自注意力操作,这样模型可以关注到不同的上下文信息。最后,拼接各个头的输出并通过线性变换得到最终输出。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0003.xhtml) - 结论依据:原文写明"将这些矩阵分割成多个头(子空间),每个头执行独立的自注意力操作",并"拼接各个头的输出并通过线性变换得到最终输出",本卡据此说明并行分工与头数约束。 - 原始内容:多头注意力机制首先生成查询(Q)、键(K)和值(V)矩阵,然后将这些矩阵分割成多个头(子空间),每个头执行独立的自注意力操作,这样模型可以关注到不同的上下文信息。最后,拼接各个头的输出并通过线性变换得到最终输出。