← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9686.r · 生成模型:DeepSeek-V4.1-Flash

推测解码:小模型起草

理解等级:高级

痛点:逐词生成时,每步只出一个词,却要把整个大模型跑一遍,算力利用率很低。

做法:先用一个便宜的小模型连续猜出若干候选词,再把这一串一次性送进大模型做并行校验。大模型对每个位置给出概率,按规则决定接受还是拒绝。

接受规则:设大模型分布为 p、小模型为 q。q 不超过 p 的地方直接接受;q 超过 p 的地方以 p/q 的概率接受;一旦拒绝,就从修正后的残差分布重新采样。这样可以证明最终样本仍严格服从 p,输出分布不变,属于无损加速。

收益与边界:一次前向能出几个词,取决于接受率与小模型猜的长度;猜测越长,命中率越低,存在最优长度。T5 上实测约 1.5 到 3.5 倍加速。若两个模型差异大、或批次已经打满算力,收益会明显缩水。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      通过从q(x)中生成样本,只要q(x)小于p(x),我们就接受它,只要q(x)大于p(x),我们就以概率p(x)/q(x)接受它,这样我们就可以准确地从p(x)中采样。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「通过从q(x)中生成样本,只要q(x)小于p(x),我们就接受它,只…」为中心展开,本卡的核心判断「痛点:逐词生成时,每步只出一个词,却要把整个大模型跑一遍,算力利用率很低。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:通过从q(x)中生成样本,只要q(x)小于p(x),我们就接受它,只要q(x)大于p(x),我们就以概率p(x)/q(x)接受它,这样我们就可以准确地从p(x)中采样。