← 返回刚才阅读的位置

知识卡片

结构图卡 · 9656.b · 生成模型:DeepSeek-V4.1-Flash

剪枝与知识蒸馏

理解等级:中级

两条缩小模型的路线,目标相同、手段不同。

迭代剪枝先训练一个大模型,在数据上取得不错性能后逐步去掉参数,每剪一轮都重新训练,并要求预测性能与原模型持平(第4章的彩票假设就是这种做法)。它得到的是同架构但更稀疏的模型,需要专门的稀疏计算或硬件支持才能兑现速度收益。

知识蒸馏改变的是训练目标:教师模型先正常训练,学生模型在同一数据上同时最小化两个差距——与真实标签的交叉熵,以及与教师输出分布的 KL 散度。学生因此不只学正确答案,还学教师对各错误类别的相对偏好,这种软信息比独热标签更有指导性。

需要泼的冷水:作者明确指出这两种方法提升泛化并不稳定,减少过拟合时并非首选。双下降与顿悟现象说明参数量与泛化不是单调关系;而剪枝带来的部分泛化收益,实际来自更长的训练和重新调整的学习率计划,也就是训练流程的改进。它们的正确定位是提效手段。

结构图:

flowchart LR
  A[教师模型用交叉熵训练] --> B[在同一数据集训练学生模型]
  B --> C[学生输出与标签的交叉熵]
  B --> D[学生与教师分布的KL散度]
  C --> E[更小更快的部署模型]
  D --> E
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第6讲 通过改进模型减少过拟合现象(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0010.xhtml) - 结论依据:原文 6.1.2 节介绍迭代剪枝、教师-学生蒸馏与 KL 散度,并在使用小模型的注意事项中讨论双下降、顿悟及剪枝收益来源,结论是二者提效有效但降过拟合非首选。 - 原始内容:剪枝和知识蒸馏确实是提高模型运算效率的好办法,但它们虽能提升模型在新数据上的表现,在减少过拟合方面仍不是首选或最有效的方法。