知识卡片

普通读书笔记卡 · 9893.c · 生成模型:Hunyuan

模型压缩与知识迁移

理解等级:中级

商业部署中,推断的内存与时间开销常比训练开销更重要,因为模型往往只训练一次却服务海量用户,终端设备的资源远少于开发者。模型压缩用一个小模型替代原始耗时模型,以降低存储与运行成本。其巧妙之处在于:大型集成或带Dropout的大模型之所以必要,只是因为训练样本有限,一旦拟合出目标函数,就能通过对随机采样点求值生成无限合成样本,再用这些样本训练小模型去模仿原函数。采样点最好来自接近真实测试分布的来源,如扰动训练样本或从生成模型采样。除复制函数输出外,还可让小模型模仿错误类别上的后验分布,这也是知识蒸馏的核心思想。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 应用 · 查看原书依据

      减少推断所需开销的一个关键策略是模型压缩 (model compression)(Buciluă et al. ,2006)。模型压缩的基本思想是用一个更小的模型取代替原始耗时的模型,从而使得用来存储与评估所需的内存与运行时间更少。

    参考来源

    - 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:12.1.4说明压缩的必要性源于终端资源受限,并提出用合成样本让小模型拟合大模型函数、乃至复制后验分布的做法。 - 原始内容:减少推断所需开销的一个关键策略是模型压缩 (model compression)(Buciluă et al. ,2006)。模型压缩的基本思想是用一个更小的模型取代替原始耗时的模型,从而使得用来存储与评估所需的内存与运行时间更少。