← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9852.e · 生成模型:Hunyuan

残差连接缓解梯度消散

理解等级:高级

网络层数增加后,按导数链式法则容易出现梯度消散或爆炸:若各层激活函数导数都较小,多次连乘后传回浅层的梯度几乎消失。残差连接是除合适激活函数之外的重要技巧,它让每个导数加上一个恒等项 1,即 d(f+x)/dx = 1 + df/dx。这样即使 df/dx 很小,误差仍能有效反向传播。残差连接的价值在于为深层网络提供一条梯度直通通路,使训练很深的网络成为可能,是 [[加深网络扩大感受野]] 得以实用的保障。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 计算机视觉处理 · 查看原书依据

      图中的每一个导数都加上了一个恒等项1,dh/dx=d(f+x)/dx=1+df/dx。此时就算原来的导数df/dx很小,误差仍然能够有效地反向传播,这也是残差连接的核心思想。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第3章 计算机视觉处理(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter6_0001.xhtml) - 结论依据:原文解释梯度消散成因,并给出 dh/dx 加恒等项 1 的公式,称其为残差连接的核心思想。 - 原始内容:图中的每一个导数都加上了一个恒等项1,dh/dx=d(f+x)/dx=1+df/dx。此时就算原来的导数df/dx很小,误差仍然能够有效地反向传播,这也是残差连接的核心思想。