知识卡片
蒸馏用KL散度对齐分布
知识蒸馏让一个小模型(学生)去模仿一个大模型(教师)的输出。关键不在模仿硬标签,而在模仿教师的输出分布:教师对每个类给出的概率里含有”哪些类容易混淆”的信息,这种软目标比 one-hot 标签携带更多信息。原文假设已有一个微调好的教师模型,把它的输出当作学生模型的训练目标,用 KL 散度度量学生分布与教师分布的差异,作为蒸馏损失指导学生。
流程可以拆成三步:教师先在任务上微调好并冻结;同一批输入同时前向教师与学生;以两分布的 KL 散度反向传播,只更新学生。学生的容量小于教师,学到的是一种被压缩的决策边界。
权衡在两处。一是温度:分布过尖时软目标退化为硬标签,蒸馏的额外信息消失;分布过平又会引入过多噪声。二是容量:学生太小,无论怎么蒸馏都追不上教师。原文示例的蒸馏损失从 0.0145 降到 0.0083,说明分布在靠近,但这只是对齐程度,不等于任务指标已达到教师水平——仍要单独评估学生。与 [[动态量化只压Linear层]] 相比,蒸馏减的是参数量,量化减的是每个参数的位宽,两者可以叠加。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型微调实战 · 查看原书依据
(3)蒸馏示例:假设有一个经过微调的教师模型,将其输出用作学生模型的训练目标,通过distillation_loss函数计算学生与教师模型输出分布的KL散度,指导学生模型学习。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0004.xhtml)
- 结论依据:原文说明蒸馏是用较小学生模型模仿大模型行为以提升推理速度,代码解析给出以教师输出为目标、用 KL 散度计算蒸馏损失的实现。
- 原始内容:(3)蒸馏示例:假设有一个经过微调的教师模型,将其输出用作学生模型的训练目标,通过distillation_loss函数计算学生与教师模型输出分布的KL散度,指导学生模型学习。