知识卡片
多头注意力:并行的子空间
做法:把 d 维向量切成 h 份,每份维度 d_k = d/h,各自用独立的投影矩阵得到一套 Q、K、V,分别做缩放点积注意力,最后把 h 个输出拼接起来,再乘输出矩阵回到 d 维。
为什么有效:一次 softmax 只能给出一种加权方案,而语言中的关系是多种并存的——有的头盯相邻词,有的头跟踪句法依存,有的头做指代消解。多头相当于并行地学多套相似度度量,再把结果汇总,表达能力比单头更丰富。
成本:因为每头维度缩小为原来的 h 分之一,总计算量与一个 d 维单头大致相当;额外参数主要来自多组投影矩阵,占比有限。
边界:头之间常有冗余,去掉一部分头性能下降不明显,这也是结构化修剪的对象;头数并非越多越好,超过一定数量后收益递减,还会增加缓存与并行通信的负担。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
标准Transformer公式使用k个注意力头,其中每个时间步的输入向量被线性地投影到“查询”“键”和“值”张量中。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「标准Transformer公式使用k个注意力头,其中每个时间步的输入…」为中心展开,本卡的核心判断「做法:把 d 维向量切成 h 份,每份维度 d_k = d/h,各自用独立的投影」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:标准Transformer公式使用k个注意力头,其中每个时间步的输入向量被线性地投影到“查询”“键”和“值”张量中。