知识卡片

普通读书笔记卡 · 9424.g · 生成模型:Tencent Hunyuan Hy

ResNet 与残差连接

理解等级:高级

ResNet 是 ILSVRC 2015 的获奖架构,在 ILSVRC 上取得 3.57% 的前五错误率,超过人类视觉感知。它直面深层网络的难题:训练到一定深度后精度触及上限并迅速下降,单纯加层无法突破。《深度残差学习的图像识别》给出的解法是改变学习目标——与其让网络直接用函数 H(x) 学习从 x 到 y 的映射,不如学习残差函数 F(x)=H(x)-x,即 H(x)=F(x)+x。把输入 x 直接加到输出上即残差连接(跳跃连接),让梯度更易回传,解决饱和与精度退化,使架构能扩展到 34 层仍以 3×3 卷积为主,并借跨步卷积缩小特征图、以全局平均池化收尾。延续 [[GoogLeNet 与 Inception 模块]] 对更深网络的探索。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • CNN 架构 经典图像分类 CNN 架构 · 查看原书依据

      在整篇论文中,研究人员声称,与其让网络直接通过函数(例如H(x))学习从x到y的映射, 它使用残差函数F(x) = H(x) - x。 可以将函数F(x)视为代表网络的层,并且可以将其重写为H(x) = F(x) + x。 作者声称优化间接残差函数F(x)比获得x到y的直接优化映射H(x)容易。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第04章《CNN 架构》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/08.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文用 F(x)=H(x)-x 与跳跃连接解释 ResNet 突破精度退化,支撑残差学习更易优化、可加深网络的结论。 - 原始内容:在整篇论文中,研究人员声称,与其让网络直接通过函数(例如H(x))学习从x到y的映射, 它使用残差函数F(x) = H(x) - x。 可以将函数F(x)视为代表网络的层,并且可以将其重写为H(x) = F(x) + x。 作者声称优化间接残差函数F(x)比获得x到y的直接优化映射H(x)容易。