知识卡片
深度可分离卷积分解空间与通道计算
深度可分离卷积先对每个输入通道做空间卷积,再用 1×1 点卷积混合通道。忽略偏置、深度乘数为 1 时,输入通道 I、输出通道 O、核边长 k 的参数量从 k²IO 变为 k²I + IO;它减少参数但限制可表达的卷积结构。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 网络压缩 17.4 网络架构设计 · 查看原书依据
但如果只做深度卷积,就会遇到一个问题:通道和通道之间没有任何互动. 假设有一种模式是跨通道才能看得出来的,则深度卷积对这种跨通道的模式是无能为力的,不妨多加一个点卷积.点卷积将滤波器的大小限制为1×1,如图17.11 所示. 这些1×1 的滤波器的作用是发现不同通道之间的关系. 所以第一个1×1 的滤波器扫过这个深度卷积的特征映射,得到另一个 特征映射.另外3个1×1的滤波器要做的事情是一样的,每一个滤波器都会产生一个特征映射. 点卷积只考虑通道之间的关系,而不考虑同一个通道内部的关系——这已经由深度卷积处理好了.
参考来源
- 位置:《深度学习详解》第17章《网络压缩》17.4 网络架构设计(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter17.xhtml`)
- 结论依据:原文和图示解释稀疏实现、教师学生、量化、分离卷积和动态计算。
- 原始内容:但如果只做深度卷积,就会遇到一个问题:通道和通道之间没有任何互动. 假设有一种模式是跨通道才能看得出来的,则深度卷积对这种跨通道的模式是无能为力的,不妨多加一个点卷积.点卷积将滤波器的大小限制为1×1,如图17.11 所示. 这些1×1 的滤波器的作用是发现不同通道之间的关系. 所以第一个1×1 的滤波器扫过这个深度卷积的特征映射,得到另一个 特征映射.另外3个1×1的滤波器要做的事情是一样的,每一个滤波器都会产生一个特征映射. 点卷积只考虑通道之间的关系,而不考虑同一个通道内部的关系——这已经由深度卷积处理好了.