知识卡片
线性瓶颈层
线性瓶颈层是 MobileNetV2 对 MobileNet 点卷积角色的反转。MobileNet 用 1×1 点卷积增加特征映射深度,而线性瓶颈层反过来减少深度:例如把 384 通道压回 128。关键在于为何用线性而非 ReLU——ReLU 会把负值截断为零,若在高维保留非线性尚可,但作者证明当输入通道投影到低维空间时,ReLU 反而能保留输入通道的全部信息:高维下某通道丢失的信息很可能留在别的通道,低维投影则避免了这种非线性破坏。因此卷积后接线性瓶颈降维,既压参数又不损信息。降维后若要深度卷积,仍需扩展层先升维,见[[扩展层与反向残差块]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 移动神经网络和 CNN MobileNetV2 的结构:线性瓶颈层与扩展层 · 查看原书依据
但是,MobileNetV2 的作者证明,如果将输入通道投影到低维空间而不是高维空间,则 ReLU 激活能够保留来自输入通道的所有信息。 这是一个重大突破!
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第05章《移动神经网络和 CNN》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/09.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文以 384 通道降为 128 通道为例,并指出低维投影下 ReLU 能保留输入信息,支撑线性瓶颈层在降维时不损信息、得以减少参数的结论。
- 原始内容:但是,MobileNetV2 的作者证明,如果将输入通道投影到低维空间而不是高维空间,则 ReLU 激活能够保留来自输入通道的所有信息。 这是一个重大突破!