知识卡片
推测解码减少串行等待
草稿模型先生成多个候选token,目标模型并行验证并接受可用前缀,随后继续循环。有效收益取决于草稿成本、接受率、候选长度与目标模型空闲计算能力。保持目标分布需要正确的验证与采样校正算法,不能把任意“认可”判定视作无损。
flowchart LR
C[当前前缀] --> D[便宜草稿生成候选]
D --> V[目标模型并行验证]
V --> A[接受有效前缀并补充token]
A --> C
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 推理优化
原书出处 · 1 处
- · 查看原书依据
推测解码(speculative decoding)。推测解码(也称推测采样)使用一个速度更快但能力较弱的模型来生成一系列token,然后由目标模型进行验证。目标模型是你真正想要使用的模型。速度更快的模型称为草稿模型或提议模型,因为它生成了初步的输出
参考来源
- 位置:《AI工程:大模型应用开发实战》第9章《推理优化》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section017.xhtml)
- 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。
- 原始内容:推测解码(speculative decoding)。推测解码(也称推测采样)使用一个速度更快但能力较弱的模型来生成一系列token,然后由目标模型进行验证。目标模型是你真正想要使用的模型。速度更快的模型称为草稿模型或提议模型,因为它生成了初步的输出