知识卡片
动态量化只压Linear层
量化把权重与激活从 32 位浮点降到 8 位整数等低精度格式,直接效果是模型体积缩小、内存带宽需求下降、推理变快。原文用动态量化接口把 BERT 中的 Linear 层量化为 qint8:权重在加载时转为整数,激活则在每次前向时按当前实际范围临时定标。
“动态”二字的含义就在这里——不需要准备校准数据集,代价是每次推理多一次统计范围的开销,速度收益不如静态量化彻底。只量化 Linear 层则是因为矩阵乘构成了 BERT 推理的主要计算量,且对精度相对不敏感;LayerNorm、softmax、embedding 等保持浮点,避免数值不稳定。
这样做有明确的边界:量化几乎总会带来一点精度损失,所以量化后必须重跑评估,确认指标没有明显下降再上线;同时动态量化主要加速 CPU 推理,在 GPU 上收益有限,需要按部署环境选择方案。
原文把它放在评估之后作为推理优化手段,顺序不能颠倒——先确认精度,再换精度。另一个压缩方向见 [[蒸馏用KL散度对齐分布]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型微调实战 · 查看原书依据
(2)量化模型:使用torch.quantization.quantize_dynamic将BERT中的Linear层量化为qint8,显著降低模型大小并加速推理。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0004.xhtml)
- 结论依据:原文说明量化将权重与激活降至 8 位可降低内存需求并加速推理,代码解析指出用动态量化接口把 BERT 的 Linear 层量化为 qint8。
- 原始内容:(2)量化模型:使用torch.quantization.quantize_dynamic将BERT中的Linear层量化为qint8,显著降低模型大小并加速推理。