知识卡片
动态推理按资源或输入调整计算
动态深度可在不同层设置输出头,简单输入提前退出;动态宽度则共享参数并按预算运行不同宽度。评价不仅要看平均运算量,还要测量目标设备上的延迟、额外路由开销和提前退出造成的精度变化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 网络压缩 17.5 动态计算 · 查看原书依据
怎么让网络自由地调整对计算资源的需求呢?一个可能的方向就是让网络自由地调整它的深度. 比如图像分类,如图17.15 所示,输入一张图片,输出是图像分类的结果,可以在隐藏层之间加入一个额外的层.这个额外的层旨在根据每一个隐藏层的输出决定图像分类的结果.当计算资源比较充足的时候,可以让这张图片通过所有的层,得到最终的分类结果.当计算资源不足的时候,可以让网络自行决定要在哪一层进行输出.比如在通过第1层后,就直接切换到“额外第1层”,得到最终的分类结果.怎么训练这样一个网络呢?一般在训练的时候,只需要在意最后一层的输出,希望它的 输出和标准答案越接近越好(但也可以让标准答案和每一个额外层 的 输出 越接近越好).把所有的输出和标准答案的交叉熵加起来,得到损失 :
参考来源
- 位置:《深度学习详解》第17章《网络压缩》17.5 动态计算(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter17.xhtml`)
- 结论依据:原文和图示解释稀疏实现、教师学生、量化、分离卷积和动态计算。
- 原始内容:怎么让网络自由地调整对计算资源的需求呢?一个可能的方向就是让网络自由地调整它的深度. 比如图像分类,如图17.15 所示,输入一张图片,输出是图像分类的结果,可以在隐藏层之间加入一个额外的层.这个额外的层旨在根据每一个隐藏层的输出决定图像分类的结果.当计算资源比较充足的时候,可以让这张图片通过所有的层,得到最终的分类结果.当计算资源不足的时候,可以让网络自行决定要在哪一层进行输出.比如在通过第1层后,就直接切换到“额外第1层”,得到最终的分类结果.怎么训练这样一个网络呢?一般在训练的时候,只需要在意最后一层的输出,希望它的 输出和标准答案越接近越好(但也可以让标准答案和每一个额外层 的 输出 越接近越好).把所有的输出和标准答案的交叉熵加起来,得到损失 :