知识卡片

普通读书笔记卡 · 9672.b · 生成模型:DeepSeek-V4.1-Flash

量化用精度换显存

理解等级:中级

量化把权重和偏置从浮点压成 INT8、INT4 这类低精度表示,模型体积与内存带宽同步下降,推理随之变快。大模型部署里这已是常规操作。

路线 做法 精度风险 适用
训练后量化 PTQ 全精度训练完再量化 可能明显掉点,依赖校准集质量 快速上线、算力紧张
量化感知训练 QAT 训练中插入量化步骤,让模型学会补偿 掉点更小,但要重训 精度敏感、可承担训练成本

代价有两层。一是掉点不可控:异常值大的层(如部分激活通道)量化后误差会被放大,需要混合精度保留少数高精度层。二是它越过了本章“不牺牲准确性”的前提,所以作者特意说明量化不如前几类技术贴题。

顺带划清边界:剪枝与蒸馏也能提速,但它们改变模型架构、让模型变小,属于第6章的范畴,不是“优化执行”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第22章 加速推理 · 查看原书依据

      然而,需要注意的是,量化有时会导致模型准确性降低。由于本章侧重于介绍在不牺牲准确性的情况下加速模型推理的技术,因此相比于前几类技术,量化可能不是本章最贴切的主题。

    参考来源

    - 位置:《大模型技术30讲》第22讲 加速推理(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0029.xhtml) - 结论依据:第22.5节,含 PTQ/QAT 区分与第6章范围说明 - 原始内容:然而,需要注意的是,量化有时会导致模型准确性降低。由于本章侧重于介绍在不牺牲准确性的情况下加速模型推理的技术,因此相比于前几类技术,量化可能不是本章最贴切的主题。