← 返回卡片

原书出处

大模型技术30讲

22 第22章 加速推理

核验版本的摘录快照 · 导入于 2026-11-18T10:51:38.339Z

少循环控制的开销,提高缓存性能以减少内存访问时间,以及向量化实现进一步的优化。

你可能会认为向量化的操作与循环分块并不兼容,因为在循环分块中我们会将一个for循环分解成多个循环。然而,这些技术实际上是互补的,它们用于不同的优化目的,并适用于不同的情景。

算子融合旨在减少总的循环迭代次数,并在数据完全装入缓存时改善数据局部性。而循环分

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0029.xhtml

EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec