← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9557.g · 生成模型:DeepSeek-V4.1-Flash

动态量化只压Linear层

理解等级:高级

量化把权重与激活从 32 位浮点降到 8 位整数等低精度格式,直接效果是模型体积缩小、内存带宽需求下降、推理变快。原文用动态量化接口把 BERT 中的 Linear 层量化为 qint8:权重在加载时转为整数,激活则在每次前向时按当前实际范围临时定标。

“动态”二字的含义就在这里——不需要准备校准数据集,代价是每次推理多一次统计范围的开销,速度收益不如静态量化彻底。只量化 Linear 层则是因为矩阵乘构成了 BERT 推理的主要计算量,且对精度相对不敏感;LayerNorm、softmax、embedding 等保持浮点,避免数值不稳定。

这样做有明确的边界:量化几乎总会带来一点精度损失,所以量化后必须重跑评估,确认指标没有明显下降再上线;同时动态量化主要加速 CPU 推理,在 GPU 上收益有限,需要按部署环境选择方案。

原文把它放在评估之后作为推理优化手段,顺序不能颠倒——先确认精度,再换精度。另一个压缩方向见 [[蒸馏用KL散度对齐分布]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0004.xhtml) - 结论依据:原文说明量化将权重与激活降至 8 位可降低内存需求并加速推理,代码解析指出用动态量化接口把 BERT 的 Linear 层量化为 qint8。 - 原始内容:(2)量化模型:使用torch.quantization.quantize_dynamic将BERT中的Linear层量化为qint8,显著降低模型大小并加速推理。