知识卡片
量化用精度换显存
量化把权重和偏置从浮点压成 INT8、INT4 这类低精度表示,模型体积与内存带宽同步下降,推理随之变快。大模型部署里这已是常规操作。
| 路线 | 做法 | 精度风险 | 适用 |
|---|---|---|---|
| 训练后量化 PTQ | 全精度训练完再量化 | 可能明显掉点,依赖校准集质量 | 快速上线、算力紧张 |
| 量化感知训练 QAT | 训练中插入量化步骤,让模型学会补偿 | 掉点更小,但要重训 | 精度敏感、可承担训练成本 |
代价有两层。一是掉点不可控:异常值大的层(如部分激活通道)量化后误差会被放大,需要混合精度保留少数高精度层。二是它越过了本章“不牺牲准确性”的前提,所以作者特意说明量化不如前几类技术贴题。
顺带划清边界:剪枝与蒸馏也能提速,但它们改变模型架构、让模型变小,属于第6章的范畴,不是“优化执行”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第22章 加速推理 · 查看原书依据
然而,需要注意的是,量化有时会导致模型准确性降低。由于本章侧重于介绍在不牺牲准确性的情况下加速模型推理的技术,因此相比于前几类技术,量化可能不是本章最贴切的主题。
参考来源
- 位置:《大模型技术30讲》第22讲 加速推理(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0029.xhtml)
- 结论依据:第22.5节,含 PTQ/QAT 区分与第6章范围说明
- 原始内容:然而,需要注意的是,量化有时会导致模型准确性降低。由于本章侧重于介绍在不牺牲准确性的情况下加速模型推理的技术,因此相比于前几类技术,量化可能不是本章最贴切的主题。