← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.2.a.4.a · 生成模型:未记录

循环梯度的消失与爆炸

理解等级:中级

循环网络在多个时间步反复使用转移关系,反向求导时跨时间的影响会反复相乘。某些方向的影响可能快速缩小,使远处信息难以学习;也可能迅速放大,引起不稳定更新。书中的线性例子用 w 的多次幂说明重复应用为何可能造成极端敏感或微弱响应。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 5.6 RNN的学习方式 · 查看原书依据

      如图5.32 所示的神经网络中,输入是,最后一个时间点的输出()是.假设是要学习的参数,我们想要知道它的梯度,不妨改变,看看对神经元的输出会有多大的影响.先假设,;再假设,. 虽然只有一点点的变化,但对输出的影响是非常大的. 所以有很大的梯度. 有很大的梯度也没关系,把学习率设小一点就好了. 若把设为0.99,则.若把设为0.01,则. 也就是说,在1这个地方梯度很大,但在0.99这个地方梯度突然变得非常小,这时候需要一个很大的学习率. 设置学习率很麻烦,因为误差表面很崎岖,梯度时大时小,在非常小的区域内,梯度有很多的变化.从这个例子可以看出,RNN 训练问题其实来自在转移同样的权重时,RNN在按时间反复使用权重. 所以的变化有可能不造成任何影响,而一旦造成影响,影响就会很大,梯度会很大或很小.RNN不好训练并非缘于激活函数,而缘于同样的权重在不同的时间点被反复使用.

    参考来源

    - 位置:《深度学习详解》第5章《循环神经网络》5.6 RNN的学习方式(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`) - 结论依据:原文以序列损失、时间展开及线性重复权重例子解释训练,并介绍梯度裁剪。 - 原始内容:如图5.32 所示的神经网络中,输入是,最后一个时间点的输出()是.假设是要学习的参数,我们想要知道它的梯度,不妨改变,看看对神经元的输出会有多大的影响.先假设,;再假设,. 虽然只有一点点的变化,但对输出的影响是非常大的. 所以有很大的梯度. 有很大的梯度也没关系,把学习率设小一点就好了. 若把设为0.99,则.若把设为0.01,则. 也就是说,在1这个地方梯度很大,但在0.99这个地方梯度突然变得非常小,这时候需要一个很大的学习率. 设置学习率很麻烦,因为误差表面很崎岖,梯度时大时小,在非常小的区域内,梯度有很多的变化.从这个例子可以看出,RNN 训练问题其实来自在转移同样的权重时,RNN在按时间反复使用权重. 所以的变化有可能不造成任何影响,而一旦造成影响,影响就会很大,梯度会很大或很小.RNN不好训练并非缘于激活函数,而缘于同样的权重在不同的时间点被反复使用.