← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9686.p · 生成模型:DeepSeek-V4.1-Flash

多查询与分组查询注意力

理解等级:高级

瓶颈在哪:标准多头注意力给每个头各存一份键和值。自回归解码时这些张量要反复读取,缓存大小约等于层数乘头数乘头维度乘序列长度乘批大小,显存带宽成为主要限制。

多查询注意力:所有头共享同一组键和值投影,只保留各自的查询。缓存直接缩小到头数分之一,解码吞吐明显提升,代价是键值表达变弱,质量可能略降。

分组查询注意力:折中方案,把头分成若干组,组内共享键值。组数等于头数时退化为标准多头,组数为一就是多查询;调节组数即可在质量与缓存之间取点,现代开源模型常用这种方式。

连带好处:键值只有一份,多设备分片时不必为每个头复制缓存,跨卡通信量也随之下降,长上下文服务更能跑得动。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      对于注意力分片,重点是优化PaLM的多查询注意力,它对所有头使用相同的键和值矩阵,将K和V矩阵减少了与头数量相等的系数。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「对于注意力分片,重点是优化PaLM的多查询注意力,它对所有头使用相同…」为中心展开,本卡的核心判断「瓶颈在哪:标准多头注意力给每个头各存一份键和值。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:对于注意力分片,重点是优化PaLM的多查询注意力,它对所有头使用相同的键和值矩阵,将K和V矩阵减少了与头数量相等的系数。