知识卡片

普通读书笔记卡 · 9555.d · 生成模型:DeepSeek-V4.1-Flash

蒸馏的效率账

理解等级:中级

蒸馏的收益必须用训练时间、推理时间、参数量三类指标同时衡量,只看一项会误判。书中两组对照:

任务 教师→学生 训练时间 推理时间 参数量 验证准确率
文本分类(IMDb) BERT-base → DistilBERT 65.32s → 32.54s 8.75s → 4.26s 110M → 66M 88.52% → 87.35%
情感分析(SST-2) RoBERTa-large → DistilRoBERTa 125.45s → 48.31s 15.23s → 7.85s 355.36M → 82.88M 91.65% → 90.17%

两组呈现同一规律:训练与推理时间大致减半,参数量压到原来的 60% 与 23%,准确率各降约 1.2 与 1.5 个百分点。收益并不对称——参数压得越狠,精度风险越大,第二组的压缩率高得多,精度只多丢了 0.3 个百分点,说明“能压多少”与任务冗余度有关,不能照搬比例。

选压缩力度要看部署瓶颈:延迟敏感的场景更在意推理时间(它约等于参数量之比),内存受限的场景更在意体积与参数量。三项指标要一起报,否则无法判断换来的速度是否值得那点精度。精度让位的边界见 [[看训练与验证是否同降]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型蒸馏与剪枝 · 查看原书依据

      (4)模型参数量:教师模型的参数量为1.1亿,而学生模型为0.66亿,蒸馏后学生模型的参数量显著减少,更适合在内存和计算资源受限的环境中部署。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0002.xhtml) - 结论依据:原文给出两组蒸馏实验的训练时间、推理时间、验证准确率与参数量,并总结学生模型训练时间约为教师一半、参数量显著减少、准确率略低但仍接近。 - 原始内容:(4)模型参数量:教师模型的参数量为1.1亿,而学生模型为0.66亿,蒸馏后学生模型的参数量显著减少,更适合在内存和计算资源受限的环境中部署。