知识卡片
推测解码:小模型起草
痛点:逐词生成时,每步只出一个词,却要把整个大模型跑一遍,算力利用率很低。
做法:先用一个便宜的小模型连续猜出若干候选词,再把这一串一次性送进大模型做并行校验。大模型对每个位置给出概率,按规则决定接受还是拒绝。
接受规则:设大模型分布为 p、小模型为 q。q 不超过 p 的地方直接接受;q 超过 p 的地方以 p/q 的概率接受;一旦拒绝,就从修正后的残差分布重新采样。这样可以证明最终样本仍严格服从 p,输出分布不变,属于无损加速。
收益与边界:一次前向能出几个词,取决于接受率与小模型猜的长度;猜测越长,命中率越低,存在最优长度。T5 上实测约 1.5 到 3.5 倍加速。若两个模型差异大、或批次已经打满算力,收益会明显缩水。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
通过从q(x)中生成样本,只要q(x)小于p(x),我们就接受它,只要q(x)大于p(x),我们就以概率p(x)/q(x)接受它,这样我们就可以准确地从p(x)中采样。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「通过从q(x)中生成样本,只要q(x)小于p(x),我们就接受它,只…」为中心展开,本卡的核心判断「痛点:逐词生成时,每步只出一个词,却要把整个大模型跑一遍,算力利用率很低。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:通过从q(x)中生成样本,只要q(x)小于p(x),我们就接受它,只要q(x)大于p(x),我们就以概率p(x)/q(x)接受它,这样我们就可以准确地从p(x)中采样。