知识卡片
多查询与分组查询注意力
瓶颈在哪:标准多头注意力给每个头各存一份键和值。自回归解码时这些张量要反复读取,缓存大小约等于层数乘头数乘头维度乘序列长度乘批大小,显存带宽成为主要限制。
多查询注意力:所有头共享同一组键和值投影,只保留各自的查询。缓存直接缩小到头数分之一,解码吞吐明显提升,代价是键值表达变弱,质量可能略降。
分组查询注意力:折中方案,把头分成若干组,组内共享键值。组数等于头数时退化为标准多头,组数为一就是多查询;调节组数即可在质量与缓存之间取点,现代开源模型常用这种方式。
连带好处:键值只有一份,多设备分片时不必为每个头复制缓存,跨卡通信量也随之下降,长上下文服务更能跑得动。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
对于注意力分片,重点是优化PaLM的多查询注意力,它对所有头使用相同的键和值矩阵,将K和V矩阵减少了与头数量相等的系数。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「对于注意力分片,重点是优化PaLM的多查询注意力,它对所有头使用相同…」为中心展开,本卡的核心判断「瓶颈在哪:标准多头注意力给每个头各存一份键和值。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:对于注意力分片,重点是优化PaLM的多查询注意力,它对所有头使用相同的键和值矩阵,将K和V矩阵减少了与头数量相等的系数。