知识卡片
向量化与分块各司其职
三个容易混淆的优化,管的其实是不同层次的瓶颈。
- 向量化:用 SIMD 与 BLAS 把显式 for 循环压成一次数组运算,减少的是指令开销,提升指令级并行。NumPy、PyTorch 内部自动完成。
- 循环分块:把迭代空间切成能装进缓存的小块,让数据在被换出前尽量被复用,解决的是大数组装不进缓存的问题。
- 算子融合:把多个循环合并成一个,减少循环控制次数与内存往返;重新参数化(如 RepVGG 训练多分支、推理合并为单路卷积)是它的近亲。
有人以为向量化和分块互斥——分块明明把循环拆多了。其实两者互补:融合管“循环太多”,分块管“缓存装不下”,向量化管“指令太碎”。代价是这些优化在 Python 层几乎不可见,只能依赖底层库;手写会牺牲可读性,分块尺寸还得按目标 CPU 的缓存容量调,换硬件就要重调。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第22章 加速推理 · 查看原书依据
你可能会认为向量化的操作与循环分块并不兼容,因为在循环分块中我们会将一个for循环分解成多个循环。然而,这些技术实际上是互补的,它们用于不同的优化目的,并适用于不同的情景。
参考来源
- 位置:《大模型技术30讲》第22讲 加速推理(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0029.xhtml)
- 结论依据:第22.2–22.4节,含 BLAS、SIMD、图22-3 与 RepVGG 重参数化
- 原始内容:你可能会认为向量化的操作与循环分块并不兼容,因为在循环分块中我们会将一个for循环分解成多个循环。然而,这些技术实际上是互补的,它们用于不同的优化目的,并适用于不同的情景。