知识卡片

普通读书笔记卡 · 9686.b · 生成模型:DeepSeek-V4.1-Flash

多头注意力:并行的子空间

理解等级:中级

做法:把 d 维向量切成 h 份,每份维度 d_k = d/h,各自用独立的投影矩阵得到一套 Q、K、V,分别做缩放点积注意力,最后把 h 个输出拼接起来,再乘输出矩阵回到 d 维。

为什么有效:一次 softmax 只能给出一种加权方案,而语言中的关系是多种并存的——有的头盯相邻词,有的头跟踪句法依存,有的头做指代消解。多头相当于并行地学多套相似度度量,再把结果汇总,表达能力比单头更丰富。

成本:因为每头维度缩小为原来的 h 分之一,总计算量与一个 d 维单头大致相当;额外参数主要来自多组投影矩阵,占比有限。

边界:头之间常有冗余,去掉一部分头性能下降不明显,这也是结构化修剪的对象;头数并非越多越好,超过一定数量后收益递减,还会增加缓存与并行通信的负担。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「标准Transformer公式使用k个注意力头,其中每个时间步的输入…」为中心展开,本卡的核心判断「做法:把 d 维向量切成 h 份,每份维度 d_k = d/h,各自用独立的投影」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:标准Transformer公式使用k个注意力头,其中每个时间步的输入向量被线性地投影到“查询”“键”和“值”张量中。