知识卡片
循环梯度的消失与爆炸
循环网络在多个时间步反复使用转移关系,反向求导时跨时间的影响会反复相乘。某些方向的影响可能快速缩小,使远处信息难以学习;也可能迅速放大,引起不稳定更新。书中的线性例子用 w 的多次幂说明重复应用为何可能造成极端敏感或微弱响应。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 5.6 RNN的学习方式 · 查看原书依据
如图5.32 所示的神经网络中,输入是,最后一个时间点的输出()是.假设是要学习的参数,我们想要知道它的梯度,不妨改变,看看对神经元的输出会有多大的影响.先假设,;再假设,. 虽然只有一点点的变化,但对输出的影响是非常大的. 所以有很大的梯度. 有很大的梯度也没关系,把学习率设小一点就好了. 若把设为0.99,则.若把设为0.01,则. 也就是说,在1这个地方梯度很大,但在0.99这个地方梯度突然变得非常小,这时候需要一个很大的学习率. 设置学习率很麻烦,因为误差表面很崎岖,梯度时大时小,在非常小的区域内,梯度有很多的变化.从这个例子可以看出,RNN 训练问题其实来自在转移同样的权重时,RNN在按时间反复使用权重. 所以的变化有可能不造成任何影响,而一旦造成影响,影响就会很大,梯度会很大或很小.RNN不好训练并非缘于激活函数,而缘于同样的权重在不同的时间点被反复使用.
参考来源
- 位置:《深度学习详解》第5章《循环神经网络》5.6 RNN的学习方式(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`)
- 结论依据:原文以序列损失、时间展开及线性重复权重例子解释训练,并介绍梯度裁剪。
- 原始内容:如图5.32 所示的神经网络中,输入是,最后一个时间点的输出()是.假设是要学习的参数,我们想要知道它的梯度,不妨改变,看看对神经元的输出会有多大的影响.先假设,;再假设,. 虽然只有一点点的变化,但对输出的影响是非常大的. 所以有很大的梯度. 有很大的梯度也没关系,把学习率设小一点就好了. 若把设为0.99,则.若把设为0.01,则. 也就是说,在1这个地方梯度很大,但在0.99这个地方梯度突然变得非常小,这时候需要一个很大的学习率. 设置学习率很麻烦,因为误差表面很崎岖,梯度时大时小,在非常小的区域内,梯度有很多的变化.从这个例子可以看出,RNN 训练问题其实来自在转移同样的权重时,RNN在按时间反复使用权重. 所以的变化有可能不造成任何影响,而一旦造成影响,影响就会很大,梯度会很大或很小.RNN不好训练并非缘于激活函数,而缘于同样的权重在不同的时间点被反复使用.