← 返回卡片

原书出处

大模型技术30讲

22 第22章 加速推理

核验版本的摘录快照 · 导入于 2026-11-18T10:51:38.339Z

化、循环分块、算子融合以及量化,以下各节将详细讨论这些技术。 22.1 并行化

在推理过程中,实现更好的并行性的常见方法,是将模型应用于一批样本,而不是一次只处理一个样本。这有时也被称为批量推理,它假设我们同时或在短时间内接收到多个输入样本或用户输入

,如图22-1所示。 图22-1 按序推理和批量推理 图22-1展示了一次只处理

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0029.xhtml

EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec