知识卡片

普通读书笔记卡 · 9672 · 生成模型:DeepSeek-V4.1-Flash

批量推理拿延迟换吞吐

理解等级:初级

批量推理把多个输入拼成一批一次前向算完,而不是一条一条排队。对 GPU 来说,单条请求往往填不满算力,批量能把利用率拉起来,单位时间处理的样本数显著上升。

但它交换的是延迟:批越大,一条请求要等齐同批的其他请求,排队时间变长,P99 尾延迟最先恶化。显存峰值也随批量线性上涨, batch 开太大直接 OOM。

场景 是否适合批量
离线打分、日志回填 适合,吞吐优先
在线问答、交互式生成 需动态批处理,按等待窗口聚合
请求稀疏或强实时 不适合,批内等待得不偿失

工程上的折中是动态批处理:设一个几毫秒的等待窗口,把窗口内到达的请求合并,用可控的延迟换取吞吐。真正的代价不是平均延迟,而是尾延迟和显存水位,监控要盯这两个。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第22章 加速推理 · 查看原书依据

      在推理过程中,实现更好的并行性的常见方法,是将模型应用于一批样本,而不是一次只处理一个样本。这有时也被称为批量推理,它假设我们同时或在短时间内接收到多个输入样本或用户输入

    参考来源

    - 位置:《大模型技术30讲》第22讲 加速推理(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0029.xhtml) - 结论依据:第22.1节,图22-1 按序推理与批量推理对比 - 原始内容:在推理过程中,实现更好的并行性的常见方法,是将模型应用于一批样本,而不是一次只处理一个样本。这有时也被称为批量推理,它假设我们同时或在短时间内接收到多个输入样本或用户输入