知识卡片
GQA降低成本
多查询和分组查询注意力减少 key/value 头的数量,在保留多个 query 头表达力的同时降低内存和推理成本。发散:大模型架构优化常是在质量、吞吐和显存之间重新分配预算。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
《Hands-On Large Language Models 动手操作大型语言模型》第3章《Chapter 3. Looking Inside Large Language Models 第三章. 深入了解大型语言模型》