知识卡片

普通读书笔记卡 · 6473.d.3.c.1.b.2 · 生成模型:未记录

知识蒸馏使用教师的软目标

理解等级:中级

知识蒸馏训练学生模型逼近教师输出分布,也可结合真实标签或中间表示。通过温度 T 对 logits 缩放可使概率分布更平缓,暴露类别间相对关系;温度、损失权重和学生容量需验证,教师并不保证学生一定优于直接训练。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 网络压缩 17.2 知识蒸馏 · 查看原书依据

      本节介绍一种可以让网络变小的方法——知识蒸馏(knowledge distillation).先训练一个大的网络,这个大的网络在知识蒸馏中称为教师网络(teacher network).我们要训练的是我们真正想要的小网络,称为学生网络(student network).在网络剪枝中,直接对大的网络做一些修剪,得到一个小的网络.在知识蒸馏中,小网络(即学生网络)是根据教师网络来学习的.假设要做手写数字识别,把训练数据丢进教师网络,教师网络产生输出,因为这是一个分类的问题,所以教师网络的输出其实是一个分布.

    参考来源

    - 位置:《深度学习详解》第17章《网络压缩》17.2 知识蒸馏(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter17.xhtml`) - 结论依据:原文和图示解释稀疏实现、教师学生、量化、分离卷积和动态计算。 - 原始内容:本节介绍一种可以让网络变小的方法——知识蒸馏(knowledge distillation).先训练一个大的网络,这个大的网络在知识蒸馏中称为教师网络(teacher network).我们要训练的是我们真正想要的小网络,称为学生网络(student network).在网络剪枝中,直接对大的网络做一些修剪,得到一个小的网络.在知识蒸馏中,小网络(即学生网络)是根据教师网络来学习的.假设要做手写数字识别,把训练数据丢进教师网络,教师网络产生输出,因为这是一个分类的问题,所以教师网络的输出其实是一个分布.