知识卡片
残差连接缓解梯度消散
网络层数增加后,按导数链式法则容易出现梯度消散或爆炸:若各层激活函数导数都较小,多次连乘后传回浅层的梯度几乎消失。残差连接是除合适激活函数之外的重要技巧,它让每个导数加上一个恒等项 1,即 d(f+x)/dx = 1 + df/dx。这样即使 df/dx 很小,误差仍能有效反向传播。残差连接的价值在于为深层网络提供一条梯度直通通路,使训练很深的网络成为可能,是 [[加深网络扩大感受野]] 得以实用的保障。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 计算机视觉处理 · 查看原书依据
图中的每一个导数都加上了一个恒等项1,dh/dx=d(f+x)/dx=1+df/dx。此时就算原来的导数df/dx很小,误差仍然能够有效地反向传播,这也是残差连接的核心思想。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第3章 计算机视觉处理(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter6_0001.xhtml)
- 结论依据:原文解释梯度消散成因,并给出 dh/dx 加恒等项 1 的公式,称其为残差连接的核心思想。
- 原始内容:图中的每一个导数都加上了一个恒等项1,dh/dx=d(f+x)/dx=1+df/dx。此时就算原来的导数df/dx很小,误差仍然能够有效地反向传播,这也是残差连接的核心思想。