← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9425.f · 生成模型:Tencent Hunyuan Hy

扩展层与反向残差块

理解等级:高级

扩展层是 1×1 卷积层,输出通道维始终大于输入维,扩展幅度由超参数扩展因子控制,MobileNetV2 全网络固定为 6:64 通道扩展到 64×6=384,深度卷积后再由瓶颈层压回 128。这样先扩、再卷、后缩,使端到端维数较低而参数更少。反向残差块则解决深度网络的梯度消失:层堆叠过深时梯度逐层变小、在穿完全层前消失,ResNet 用跳过连接给梯度提供易流动的路径;MobileNetV2 作者认为有用信息只存在于瓶颈层,于是在瓶颈层之间加残差连接,并因与 ResNet 原始残差的设计差异而称其为反向残差。两者配合构成[[MobileNetV2 实现]]的核心块。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第05章《移动神经网络和 CNN》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/09.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文说明瓶颈间残差连接让梯度易流过多个瓶颈块,并因设计差异命名为反向残差,支撑其借鉴 ResNet 又区别于 ResNet 的结论。 - 原始内容:受跳过连接的启发,MobileNetV2 的作者声称有用的信息仅位于瓶颈层,因此,为了使梯度易于通过多个瓶颈块流动,他们增加了从一个瓶颈层到另一个瓶颈层的剩余连接。