知识卡片
多头注意力在多个子空间并行关注
单头自注意力只能输出一套权重分布,等于只允许模型用一种方式判断”谁和谁相关”。多头注意力的做法是把同一组 Q、K、V 沿特征维切成 h 份,每一份在自己的子空间里独立跑一次 [[自注意力用点积衡量词间相关度]],得到 h 组输出,再把它们按原顺序拼接,最后过一层线性变换得到最终结果。
这里的”多头”不是把模型变宽:切分后每个头的维度是 embed_size/h,总计算量与单头同维时基本相当,只是把一个大的相似度空间换成了 h 个更小的空间。收益在于分工——不同的头可以各自收敛到不同的关注模式,例如有的偏向相邻位置、有的偏向句法上的搭配、有的偏向远距离指代;拼接后这些视角同时进入下一层。
边界也很清楚:头数必须能整除嵌入维度,h 越大单头维度越小,太小的子空间表达能力不足;而且多头的多样性并无机制保证,训练后出现功能重复的头是常见现象。书中示例的做法还包括额外返回注意力权重,便于观察各头的分布差异。
结构图:
graph TD
A[Q K V 矩阵] --> B[沿特征维切成 h 个头]
B --> C[每个头独立做缩放点积注意力]
C --> D[拼接各头输出]
D --> E[线性变换得最终输出]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer模型基础 · 查看原书依据
多头注意力机制首先生成查询(Q)、键(K)和值(V)矩阵,然后将这些矩阵分割成多个头(子空间),每个头执行独立的自注意力操作,这样模型可以关注到不同的上下文信息。最后,拼接各个头的输出并通过线性变换得到最终输出。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0003.xhtml)
- 结论依据:原文写明"将这些矩阵分割成多个头(子空间),每个头执行独立的自注意力操作",并"拼接各个头的输出并通过线性变换得到最终输出",本卡据此说明并行分工与头数约束。
- 原始内容:多头注意力机制首先生成查询(Q)、键(K)和值(V)矩阵,然后将这些矩阵分割成多个头(子空间),每个头执行独立的自注意力操作,这样模型可以关注到不同的上下文信息。最后,拼接各个头的输出并通过线性变换得到最终输出。