知识卡片

普通读书笔记卡 · 9555.k · 生成模型:DeepSeek-V4.1-Flash

蒸馏换模型剪枝删冗余

理解等级:高级

蒸馏与剪枝都在降低推理成本,但动的是不同东西,这决定了它们的使用时机。

蒸馏换的是“模型的身份”:训练之前就选定一个更小的架构,用教师的软标签把它教到接近教师,压缩率由架构本身决定,发生在训练阶段(见 [[教师学生与软标签传递]])。剪枝改的是“同一个模型内部”:先有一个训练好的模型,再判断哪些权重、通道、头或层冗余,删掉它们,压缩率由剪枝比例决定,发生在训练之后。

两者的成本结构也不同。蒸馏需要教师常驻显存,每个 batch 多跑一次教师前向,并把两套模型同时放在显存里;剪枝需要评估与微调环节,剪完往往要回炉一次。效果上,蒸馏的收益是“结构层面的”,学生天然更小更快;剪枝的收益是“删冗余”,保留原架构,因此更容易复用现有的推理栈。

选择时先看约束:能否更换模型架构决定能否蒸馏,能否接受重新训练决定能否剪枝。两者也可以叠加,例如先蒸馏得到小模型再剪枝,或用蒸馏帮剪后的模型恢复精度,但每一步都要单独测量精度与延迟,不能假设收益会累加。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型蒸馏与剪枝 · 查看原书依据

      本章将介绍模型压缩的两大核心技术:知识蒸馏(Knowledge Distillation)和模型剪枝(Model Pruning)。这些技术通过有效的参数减缩,帮助大规模模型在推理速度、存储空间与能效等方面取得显著提升。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014.xhtml) - 结论依据:原文把两者并列为模型压缩的两大核心技术,说明蒸馏通过教师—学生结构提高小模型能力、降低复杂度,剪枝通过删除冗余权重实现压缩,并指出结构化剪枝还能提升推理速度。 - 原始内容:本章将介绍模型压缩的两大核心技术:知识蒸馏(Knowledge Distillation)和模型剪枝(Model Pruning)。这些技术通过有效的参数减缩,帮助大规模模型在推理速度、存储空间与能效等方面取得显著提升。