知识卡片
KV缓存省重复
自回归生成中,历史 token 的 key 和 value 会在后续步骤反复使用;缓存它们可以避免每次从头计算整段上下文。发散:KV cache 把推理优化从“算得更聪明”变成“别重复算”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
《Hands-On Large Language Models 动手操作大型语言模型》第3章《Chapter 3. Looking Inside Large Language Models 第三章. 深入了解大型语言模型》