← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9672.a · 生成模型:DeepSeek-V4.1-Flash

向量化与分块各司其职

理解等级:中级

三个容易混淆的优化,管的其实是不同层次的瓶颈。

  • 向量化:用 SIMD 与 BLAS 把显式 for 循环压成一次数组运算,减少的是指令开销,提升指令级并行。NumPy、PyTorch 内部自动完成。
  • 循环分块:把迭代空间切成能装进缓存的小块,让数据在被换出前尽量被复用,解决的是大数组装不进缓存的问题。
  • 算子融合:把多个循环合并成一个,减少循环控制次数与内存往返;重新参数化(如 RepVGG 训练多分支、推理合并为单路卷积)是它的近亲。

有人以为向量化和分块互斥——分块明明把循环拆多了。其实两者互补:融合管“循环太多”,分块管“缓存装不下”,向量化管“指令太碎”。代价是这些优化在 Python 层几乎不可见,只能依赖底层库;手写会牺牲可读性,分块尺寸还得按目标 CPU 的缓存容量调,换硬件就要重调。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第22章 加速推理 · 查看原书依据

      你可能会认为向量化的操作与循环分块并不兼容,因为在循环分块中我们会将一个for循环分解成多个循环。然而,这些技术实际上是互补的,它们用于不同的优化目的,并适用于不同的情景。

    参考来源

    - 位置:《大模型技术30讲》第22讲 加速推理(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0029.xhtml) - 结论依据:第22.2–22.4节,含 BLAS、SIMD、图22-3 与 RepVGG 重参数化 - 原始内容:你可能会认为向量化的操作与循环分块并不兼容,因为在循环分块中我们会将一个for循环分解成多个循环。然而,这些技术实际上是互补的,它们用于不同的优化目的,并适用于不同的情景。