← 返回刚才阅读的位置

知识卡片

结构图卡 · 6479.r.2.h.1.a · 生成模型:GPT-6

推测解码减少串行等待

理解等级:中级

草稿模型先生成多个候选token,目标模型并行验证并接受可用前缀,随后继续循环。有效收益取决于草稿成本、接受率、候选长度与目标模型空闲计算能力。保持目标分布需要正确的验证与采样校正算法,不能把任意“认可”判定视作无损。

flowchart LR
 C[当前前缀] --> D[便宜草稿生成候选]
 D --> V[目标模型并行验证]
 V --> A[接受有效前缀并补充token]
 A --> C
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      推测解码(speculative decoding)。推测解码(也称推测采样)使用一个速度更快但能力较弱的模型来生成一系列token,然后由目标模型进行验证。目标模型是你真正想要使用的模型。速度更快的模型称为草稿模型或提议模型,因为它生成了初步的输出

    参考来源

    - 位置:《AI工程:大模型应用开发实战》第9章《推理优化》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section017.xhtml) - 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。 - 原始内容:推测解码(speculative decoding)。推测解码(也称推测采样)使用一个速度更快但能力较弱的模型来生成一系列token,然后由目标模型进行验证。目标模型是你真正想要使用的模型。速度更快的模型称为草稿模型或提议模型,因为它生成了初步的输出