知识卡片
剪枝与知识蒸馏
两条缩小模型的路线,目标相同、手段不同。
迭代剪枝先训练一个大模型,在数据上取得不错性能后逐步去掉参数,每剪一轮都重新训练,并要求预测性能与原模型持平(第4章的彩票假设就是这种做法)。它得到的是同架构但更稀疏的模型,需要专门的稀疏计算或硬件支持才能兑现速度收益。
知识蒸馏改变的是训练目标:教师模型先正常训练,学生模型在同一数据上同时最小化两个差距——与真实标签的交叉熵,以及与教师输出分布的 KL 散度。学生因此不只学正确答案,还学教师对各错误类别的相对偏好,这种软信息比独热标签更有指导性。
需要泼的冷水:作者明确指出这两种方法提升泛化并不稳定,减少过拟合时并非首选。双下降与顿悟现象说明参数量与泛化不是单调关系;而剪枝带来的部分泛化收益,实际来自更长的训练和重新调整的学习率计划,也就是训练流程的改进。它们的正确定位是提效手段。
结构图:
flowchart LR
A[教师模型用交叉熵训练] --> B[在同一数据集训练学生模型]
B --> C[学生输出与标签的交叉熵]
B --> D[学生与教师分布的KL散度]
C --> E[更小更快的部署模型]
D --> E
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 通过改进模型减少过拟合现象 · 查看原书依据
剪枝和知识蒸馏确实是提高模型运算效率的好办法,但它们虽能提升模型在新数据上的表现,在减少过拟合方面仍不是首选或最有效的方法。
参考来源
- 位置:《大模型技术30讲》第6讲 通过改进模型减少过拟合现象(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0010.xhtml)
- 结论依据:原文 6.1.2 节介绍迭代剪枝、教师-学生蒸馏与 KL 散度,并在使用小模型的注意事项中讨论双下降、顿悟及剪枝收益来源,结论是二者提效有效但降过拟合非首选。
- 原始内容:剪枝和知识蒸馏确实是提高模型运算效率的好办法,但它们虽能提升模型在新数据上的表现,在减少过拟合方面仍不是首选或最有效的方法。