知识卡片

普通读书笔记卡 · 6473.d.3.e.1.b.1.d · 生成模型:未记录

深度可分离卷积分解空间与通道计算

理解等级:中级

深度可分离卷积先对每个输入通道做空间卷积,再用 1×1 点卷积混合通道。忽略偏置、深度乘数为 1 时,输入通道 I、输出通道 O、核边长 k 的参数量从 k²IO 变为 k²I + IO;它减少参数但限制可表达的卷积结构。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 网络压缩 17.4 网络架构设计 · 查看原书依据

      但如果只做深度卷积,就会遇到一个问题:通道和通道之间没有任何互动. 假设有一种模式是跨通道才能看得出来的,则深度卷积对这种跨通道的模式是无能为力的,不妨多加一个点卷积.点卷积将滤波器的大小限制为1×1,如图17.11 所示. 这些1×1 的滤波器的作用是发现不同通道之间的关系. 所以第一个1×1 的滤波器扫过这个深度卷积的特征映射,得到另一个 特征映射.另外3个1×1的滤波器要做的事情是一样的,每一个滤波器都会产生一个特征映射. 点卷积只考虑通道之间的关系,而不考虑同一个通道内部的关系——这已经由深度卷积处理好了.

    参考来源

    - 位置:《深度学习详解》第17章《网络压缩》17.4 网络架构设计(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter17.xhtml`) - 结论依据:原文和图示解释稀疏实现、教师学生、量化、分离卷积和动态计算。 - 原始内容:但如果只做深度卷积,就会遇到一个问题:通道和通道之间没有任何互动. 假设有一种模式是跨通道才能看得出来的,则深度卷积对这种跨通道的模式是无能为力的,不妨多加一个点卷积.点卷积将滤波器的大小限制为1×1,如图17.11 所示. 这些1×1 的滤波器的作用是发现不同通道之间的关系. 所以第一个1×1 的滤波器扫过这个深度卷积的特征映射,得到另一个 特征映射.另外3个1×1的滤波器要做的事情是一样的,每一个滤波器都会产生一个特征映射. 点卷积只考虑通道之间的关系,而不考虑同一个通道内部的关系——这已经由深度卷积处理好了.