知识卡片
知识蒸馏使用教师的软目标
知识蒸馏训练学生模型逼近教师输出分布,也可结合真实标签或中间表示。通过温度 T 对 logits 缩放可使概率分布更平缓,暴露类别间相对关系;温度、损失权重和学生容量需验证,教师并不保证学生一定优于直接训练。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 网络压缩 17.2 知识蒸馏 · 查看原书依据
本节介绍一种可以让网络变小的方法——知识蒸馏(knowledge distillation).先训练一个大的网络,这个大的网络在知识蒸馏中称为教师网络(teacher network).我们要训练的是我们真正想要的小网络,称为学生网络(student network).在网络剪枝中,直接对大的网络做一些修剪,得到一个小的网络.在知识蒸馏中,小网络(即学生网络)是根据教师网络来学习的.假设要做手写数字识别,把训练数据丢进教师网络,教师网络产生输出,因为这是一个分类的问题,所以教师网络的输出其实是一个分布.
参考来源
- 位置:《深度学习详解》第17章《网络压缩》17.2 知识蒸馏(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter17.xhtml`)
- 结论依据:原文和图示解释稀疏实现、教师学生、量化、分离卷积和动态计算。
- 原始内容:本节介绍一种可以让网络变小的方法——知识蒸馏(knowledge distillation).先训练一个大的网络,这个大的网络在知识蒸馏中称为教师网络(teacher network).我们要训练的是我们真正想要的小网络,称为学生网络(student network).在网络剪枝中,直接对大的网络做一些修剪,得到一个小的网络.在知识蒸馏中,小网络(即学生网络)是根据教师网络来学习的.假设要做手写数字识别,把训练数据丢进教师网络,教师网络产生输出,因为这是一个分类的问题,所以教师网络的输出其实是一个分布.