知识卡片
蒸馏的效率账
蒸馏的收益必须用训练时间、推理时间、参数量三类指标同时衡量,只看一项会误判。书中两组对照:
| 任务 | 教师→学生 | 训练时间 | 推理时间 | 参数量 | 验证准确率 |
|---|---|---|---|---|---|
| 文本分类(IMDb) | BERT-base → DistilBERT | 65.32s → 32.54s | 8.75s → 4.26s | 110M → 66M | 88.52% → 87.35% |
| 情感分析(SST-2) | RoBERTa-large → DistilRoBERTa | 125.45s → 48.31s | 15.23s → 7.85s | 355.36M → 82.88M | 91.65% → 90.17% |
两组呈现同一规律:训练与推理时间大致减半,参数量压到原来的 60% 与 23%,准确率各降约 1.2 与 1.5 个百分点。收益并不对称——参数压得越狠,精度风险越大,第二组的压缩率高得多,精度只多丢了 0.3 个百分点,说明“能压多少”与任务冗余度有关,不能照搬比例。
选压缩力度要看部署瓶颈:延迟敏感的场景更在意推理时间(它约等于参数量之比),内存受限的场景更在意体积与参数量。三项指标要一起报,否则无法判断换来的速度是否值得那点精度。精度让位的边界见 [[看训练与验证是否同降]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型蒸馏与剪枝 · 查看原书依据
(4)模型参数量:教师模型的参数量为1.1亿,而学生模型为0.66亿,蒸馏后学生模型的参数量显著减少,更适合在内存和计算资源受限的环境中部署。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0002.xhtml)
- 结论依据:原文给出两组蒸馏实验的训练时间、推理时间、验证准确率与参数量,并总结学生模型训练时间约为教师一半、参数量显著减少、准确率略低但仍接近。
- 原始内容:(4)模型参数量:教师模型的参数量为1.1亿,而学生模型为0.66亿,蒸馏后学生模型的参数量显著减少,更适合在内存和计算资源受限的环境中部署。