知识卡片
模型压缩与知识迁移
商业部署中,推断的内存与时间开销常比训练开销更重要,因为模型往往只训练一次却服务海量用户,终端设备的资源远少于开发者。模型压缩用一个小模型替代原始耗时模型,以降低存储与运行成本。其巧妙之处在于:大型集成或带Dropout的大模型之所以必要,只是因为训练样本有限,一旦拟合出目标函数,就能通过对随机采样点求值生成无限合成样本,再用这些样本训练小模型去模仿原函数。采样点最好来自接近真实测试分布的来源,如扰动训练样本或从生成模型采样。除复制函数输出外,还可让小模型模仿错误类别上的后验分布,这也是知识蒸馏的核心思想。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第12章 应用
原书出处 · 1 处
- 第12章 应用 · 查看原书依据
减少推断所需开销的一个关键策略是模型压缩 (model compression)(Buciluă et al. ,2006)。模型压缩的基本思想是用一个更小的模型取代替原始耗时的模型,从而使得用来存储与评估所需的内存与运行时间更少。
参考来源
- 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:12.1.4说明压缩的必要性源于终端资源受限,并提出用合成样本让小模型拟合大模型函数、乃至复制后验分布的做法。
- 原始内容:减少推断所需开销的一个关键策略是模型压缩 (model compression)(Buciluă et al. ,2006)。模型压缩的基本思想是用一个更小的模型取代替原始耗时的模型,从而使得用来存储与评估所需的内存与运行时间更少。