知识卡片

普通读书笔记卡 · 9555.b · 生成模型:DeepSeek-V4.1-Flash

温度把教师分布压平

理解等级:高级

软标签之所以比硬标签信息多,靠的是“软化”这一步。做法是在 softmax 之前把 logits 除以温度 T:T=1 时分布保持原样,T 越大分布越平缓,原本接近 0 的次优类别概率被抬高,类别之间的相对远近就显露出来。学生学到的是“哪些类别容易混、混到什么程度”这种结构,而不是一个 one-hot 答案。

书中实现取 temperature=2.0:学生端用 log_softmax(logits/T),教师端用 softmax(logits/T),算出的 KL 散度再乘以 T²。乘 T² 不是装饰,而是为了补偿温度缩放带来的量级变化——除以 T 会让分布更平、梯度整体变小,若不同时放大,改一次温度就等于改了一次有效学习率,实验之间无法比较。

边界很清楚:T 过大时各分类概率趋于均匀,类别差异被抹平,教师的知识反而丢失;T 过小则接近硬标签,蒸馏退化为普通训练。T 是需要试验的超参数,不是越大越好。它与 [[蒸馏损失的两条约束]] 中的 KL 项直接相关:温度只改变“看分布”的尺度,不改变两项损失的组合方式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0002.xhtml) - 结论依据:原文蒸馏损失函数定义中显式设置 temperature=2.0,学生端取 log_softmax(logits/T)、教师端取 softmax(logits/T),并将 KL 散度乘以 temperature 的平方。 - 原始内容:def distillation_loss(student_logits, teacher_logits, temperature=2.0):