知识卡片
学生同时学答案与分布
学生在蒸馏中承担两个目标:对真实标签给出正确分类,以及让自己的输出分布接近教师。前者是“结果正确”,后者是“过程相似”,两者由两个损失项分别承担。
第二个目标才是蒸馏区别于普通训练的地方。教师对每个样本给出的是一整个分布,其中包含它对易混类别的判断——某个样本是猫,但狗的得分明显高于汽车。硬标签只告诉学生“答案是猫”,软标签还告诉它“错在哪里比较接近”。学生沿着这个分布学习,相当于获得了比单个标签更密的监督,收敛更快,泛化也更好。这也解释了为什么参数少得多的学生仍能接近教师:它不必从零建立类别边界,而是沿着教师已经划好的边界做近似。
两个目标并不总同向。教师在个别样本上判断错误时,模仿分布会把错误一并传给学生;学生容量不足时,也可能只学到分布的粗糙轮廓,细节学不进去。因此蒸馏的上限是教师本身:它能逼近,但不会凭空超过。实践中的做法是给两项损失加权,并保留一个只用硬标签的基线用于对照。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型蒸馏与剪枝 · 查看原书依据
随后通过“知识蒸馏”,学生模型使用教师模型的软标签来进行学习。这个过程包含两个目标:一是让学生模型学会在分类任务上给出准确的答案,二是模仿教师模型的预测分布,尽量让自己的输出和教师模型相似。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0001.xhtml)
- 结论依据:原文写明蒸馏过程包含两个目标——学会给出准确答案、模仿教师的预测分布,并称学生“在不增加参数的情况下可以更快、更好地学习到知识”。
- 原始内容:随后通过“知识蒸馏”,学生模型使用教师模型的软标签来进行学习。这个过程包含两个目标:一是让学生模型学会在分类任务上给出准确的答案,二是模仿教师模型的预测分布,尽量让自己的输出和教师模型相似。