知识卡片
蒸馏损失的两条约束
蒸馏损失由交叉熵与 KL 散度加权组成,两项约束的东西不同,缺少任何一项都会让训练偏离目标。
交叉熵把学生输出拉向真实硬标签,负责“分类是否正确”;KL 散度把学生分布拉向教师给出的软分布,负责“是否像老师”。只保留交叉熵,蒸馏就退化为普通监督训练,教师的知识完全浪费;只保留 KL,学生会贴近教师的偏好,但在教师判断失误的样本上跟着错,且没有硬标签把它拉回正确类别。两项共存,才既有正确答案的锚点,又有分布层面的额外监督。
权重决定偏向哪一侧:偏交叉熵则更重视任务指标,偏 KL 则更重视模仿的保真度。此外还有一个实现层面的前提——比较分布前要先对 logits 做温度缩放,让教师的低概率类别也带上信息,否则 KL 项能提供的信号很弱,这一点见 [[温度把教师分布压平]]。
书中示例训练 3 轮,损失从 0.6523 降到 0.5678 再到 0.4987,说明两项合成的目标可以被稳定优化;而损失下降本身不等于蒸馏成功,判据见 [[看训练与验证是否同降]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型蒸馏与剪枝 · 查看原书依据
知识蒸馏的核心在于设计蒸馏损失函数,使得学生模型在学习过程中不仅拟合真实标签,还能够模仿教师模型的预测分布。蒸馏损失通常是交叉熵损失和KL散度的加权和,其中KL散度部分使用了教师模型的预测作为软标签。下面通过具体步骤展示蒸馏损失的设计及其在大模型压缩中的应用。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0001.xhtml)
- 结论依据:原文指出蒸馏损失“通常是交叉熵损失和KL散度的加权和”,前者保证分类准确性,后者确保学生输出与教师输出尽可能相似,并给出损失逐轮下降的运行结果。
- 原始内容:知识蒸馏的核心在于设计蒸馏损失函数,使得学生模型在学习过程中不仅拟合真实标签,还能够模仿教师模型的预测分布。蒸馏损失通常是交叉熵损失和KL散度的加权和,其中KL散度部分使用了教师模型的预测作为软标签。下面通过具体步骤展示蒸馏损失的设计及其在大模型压缩中的应用。