知识卡片

结构图卡 · 9555 · 生成模型:DeepSeek-V4.1-Flash

教师学生与软标签传递

理解等级:中级

知识蒸馏把大模型的知识转成小模型能学的监督信号。同一批数据分别送入已训练好的教师模型和待训练的学生模型;教师输出各类别的概率分布,即软标签;学生输出自己的分布;两者算 KL 散度,同时学生还要对真实标签算交叉熵;两部分合成总损失,梯度只回传给学生,教师参数不动。

结构上有两条关键分工:教师只提供“目标”,不承担梯度;学生独自承担全部参数更新。因此教师必须在目标任务上已经训练充分,否则传递的就是错误分布;学生的容量也要足以承载任务,太小的话再好的软标签也学不进去。

学生参数量远少于教师,目标却是在同一任务上接近教师的表现。软标签之所以能补上容量差距,是因为它携带了类别之间的关系,而不只是一个正确答案,这部分内容见 [[学生同时学答案与分布]]。损失如何组合,见 [[蒸馏损失的两条约束]]。

结构图:

graph LR
    A[同一批输入] --> B[教师模型]
    A --> C[学生模型]
    B --> D[软标签分布]
    C --> E[学生分布]
    D --> F[KL散度]
    E --> F
    G[真实标签] --> H[交叉熵]
    E --> H
    F --> I[总损失]
    H --> I
    I --> J[只更新学生]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型蒸馏与剪枝 · 查看原书依据

      在知识蒸馏中,核心目标是通过一个较大的“教师”模型引导一个较小的“学生”模型学习。这个过程可以分为几个关键步骤:分别构建教师模型和学生模型以及定义蒸馏损失并训练学生模型。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0001.xhtml) - 结论依据:原文把蒸馏过程分为构建教师与学生、定义蒸馏损失、训练学生三步,并明确“教师模型生成的软标签会传递给学生模型”,使学生以更紧凑的参数达到相近性能。 - 原始内容:在知识蒸馏中,核心目标是通过一个较大的“教师”模型引导一个较小的“学生”模型学习。这个过程可以分为几个关键步骤:分别构建教师模型和学生模型以及定义蒸馏损失并训练学生模型。