知识卡片

普通读书笔记卡 · 9425.e · 生成模型:Tencent Hunyuan Hy

线性瓶颈层

理解等级:中级

线性瓶颈层是 MobileNetV2 对 MobileNet 点卷积角色的反转。MobileNet 用 1×1 点卷积增加特征映射深度,而线性瓶颈层反过来减少深度:例如把 384 通道压回 128。关键在于为何用线性而非 ReLU——ReLU 会把负值截断为零,若在高维保留非线性尚可,但作者证明当输入通道投影到低维空间时,ReLU 反而能保留输入通道的全部信息:高维下某通道丢失的信息很可能留在别的通道,低维投影则避免了这种非线性破坏。因此卷积后接线性瓶颈降维,既压参数又不损信息。降维后若要深度卷积,仍需扩展层先升维,见[[扩展层与反向残差块]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第05章《移动神经网络和 CNN》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/09.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文以 384 通道降为 128 通道为例,并指出低维投影下 ReLU 能保留输入信息,支撑线性瓶颈层在降维时不损信息、得以减少参数的结论。 - 原始内容:但是,MobileNetV2 的作者证明,如果将输入通道投影到低维空间而不是高维空间,则 ReLU 激活能够保留来自输入通道的所有信息。 这是一个重大突破!