知识卡片

结构图卡 · 9686.q · 生成模型:DeepSeek-V4.1-Flash

KV缓存:解码的复用机制

理解等级:中级

自回归生成中,历史词元的键和值一旦算出就不再改变,可以缓存。预填充阶段把提示词整段并行计算,所有 K、V 写入缓存;解码阶段每步只为新词元算一份 Q、K、V,再与缓存拼接做注意力,最后采样出下一个词。缓存把每步的计算从“重算全序列”降为“只算一个新位置”,但显存占用随长度与批大小线性增长,长上下文时往往先于算力成为瓶颈,于是需要共享键值、量化缓存、分页管理与多卡分片。

结构图:

flowchart TD
  A[提示词 预填充] --> B[计算并写入K V]
  B --> C[(KV缓存)]
  D[新词元] --> E[只计算新词元]
  E --> C
  C --> F[历史K V与新Q做注意力]
  F --> G[采样下一词元]
  G --> D
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      首先,经过优化的多查询关注能够在内存耗尽之前使用更长的上下文长度。其次,提出了将通信和计算重叠在一起的优化爱因斯坦求和(einsum)操作。然后,矩阵分片技术用于在块仍在传输时最大限度地提高计算效率。最后,利用AQT将权重量化为INT8(Lew et al,2022)。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「首先,经过优化的多查询关注能够在内存耗尽之前使用更长的上下文长度。其…」为中心展开,本卡的核心判断「自回归生成中,历史词元的键和值一旦算出就不再改变,可以缓存。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:首先,经过优化的多查询关注能够在内存耗尽之前使用更长的上下文长度。其次,提出了将通信和计算重叠在一起的优化爱因斯坦求和(einsum)操作。然后,矩阵分片技术用于在块仍在传输时最大限度地提高计算效率。最后,利用AQT将权重量化为INT8(Lew et al,2022)。