知识卡片
教师学生与软标签传递
知识蒸馏把大模型的知识转成小模型能学的监督信号。同一批数据分别送入已训练好的教师模型和待训练的学生模型;教师输出各类别的概率分布,即软标签;学生输出自己的分布;两者算 KL 散度,同时学生还要对真实标签算交叉熵;两部分合成总损失,梯度只回传给学生,教师参数不动。
结构上有两条关键分工:教师只提供“目标”,不承担梯度;学生独自承担全部参数更新。因此教师必须在目标任务上已经训练充分,否则传递的就是错误分布;学生的容量也要足以承载任务,太小的话再好的软标签也学不进去。
学生参数量远少于教师,目标却是在同一任务上接近教师的表现。软标签之所以能补上容量差距,是因为它携带了类别之间的关系,而不只是一个正确答案,这部分内容见 [[学生同时学答案与分布]]。损失如何组合,见 [[蒸馏损失的两条约束]]。
结构图:
graph LR
A[同一批输入] --> B[教师模型]
A --> C[学生模型]
B --> D[软标签分布]
C --> E[学生分布]
D --> F[KL散度]
E --> F
G[真实标签] --> H[交叉熵]
E --> H
F --> I[总损失]
H --> I
I --> J[只更新学生]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型蒸馏与剪枝 · 查看原书依据
在知识蒸馏中,核心目标是通过一个较大的“教师”模型引导一个较小的“学生”模型学习。这个过程可以分为几个关键步骤:分别构建教师模型和学生模型以及定义蒸馏损失并训练学生模型。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0001.xhtml)
- 结论依据:原文把蒸馏过程分为构建教师与学生、定义蒸馏损失、训练学生三步,并明确“教师模型生成的软标签会传递给学生模型”,使学生以更紧凑的参数达到相近性能。
- 原始内容:在知识蒸馏中,核心目标是通过一个较大的“教师”模型引导一个较小的“学生”模型学习。这个过程可以分为几个关键步骤:分别构建教师模型和学生模型以及定义蒸馏损失并训练学生模型。