知识卡片
梯度消失源于导数连乘
Sigmoid 的导数是 σ′(x) = σ(x)(1−σ(x))。因为 σ(x) 落在 (0,1) 里,两者的乘积最大只有 0.25(在 x=0 处),两端饱和时趋近 0。
反向传播的 δ 递推里,每往前一层都要乘一次本层的 σ′(z)。所以从输出层往输入方向走,梯度要连乘 L 次:
∂L/∂W(2) ∝ σ′(z(2)) · σ′(z(3)) · … · σ′(z(L))
数值直觉:即使每层都取到最大值 0.25,0.25¹⁰ ≈ 9.5×10⁻⁷。十层之后,传到前面层的梯度已经小到无法有效更新参数——这就是梯度消失。实际网络里 σ′ 多数时候远小于 0.25,衰减更快。
爆炸是同一机制的另一面:如果连乘因子普遍大于 1(权重初始值太大、深层叠加),梯度会指数放大,出现数值溢出、损失变成 NaN。原文的表述是”在深层网络和权重初始化值太大时会出现梯度爆炸”。
所以要分清两件事:
| 成因 | 表现 | |
|---|---|---|
| 梯度消失 | 连乘因子普遍 < 1(饱和激活、小权重) | 前层几乎不更新,深层学不到东西 |
| 梯度爆炸 | 连乘因子普遍 > 1(初始权重过大) | 数值溢出、训练发散 |
这也解释了 1991 年那次低潮为什么打击那么大:问题不在某个技巧,而在”深度”本身与饱和激活冲突——层数越多,越训不动。解决方向因此分成两条:换掉会饱和的激活函数,或者给梯度加上尺度控制(见 [[缓解梯度消失的几种手段]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 深度神经网络模型 15.2.5 梯度消失与梯度爆炸 · 查看原书依据
前面讲到,Sigmoid函数的导数可以表达为σ'(x)=σ(x)(1−σ(x)),而σ(x)是一个区间在(0,1)的函数,因此σ'(x)的值肯定是小于1的。但在反向传播过程中,权重系数的梯度更新会涉及很多次σ'(x)的累乘。
参考来源
- 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html)
- 结论依据:原文由 Sigmoid 导数小于 1 出发,说明反向传播中多次累乘会使更新值越来越小直至接近 0,并指出深层网络与过大初始化会导致梯度爆炸。
- 原始内容:前面讲到,Sigmoid函数的导数可以表达为σ'(x)=σ(x)(1−σ(x)),而σ(x)是一个区间在(0,1)的函数,因此σ'(x)的值肯定是小于1的。但在反向传播过程中,权重系数的梯度更新会涉及很多次σ'(x)的累乘。