← 返回卡片

原书出处

深度学习详解

05 循环神经网络 5.6 RNN的学习方式

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.558Z

如图5.32 所示的神经网络中,输入是,最后一个时间点的输出()是.假设是要学习的参数,我们想要知道它的梯度,不妨改变,看看对神经元的输出会有多大的影响.先假设,;再假设,. 虽然只有一点点的变化,但对输出的影响是非常大的. 所以有很大的梯度. 有很大的梯度也没关系,把学习率设小一点就好了. 若把设为0.99,则.若把设为0.01,则. 也就是说,在1这个地方梯度很大,但在0.99这个地方梯度突然变得非常小,这时候需要一个很大的学习率. 设置学习率很麻烦,因为误差表面很崎岖,梯度时大时小,在非常小的区域内,梯度有很多的变化.从这个例子可以看出,RNN 训练问题其实来自在转移同样的权重时,RNN在按时间反复使用权重. 所以的变化有可能不造成任何影响,而一旦造成影响,影响就会很大,梯度会很大或很小.RNN不好训练并非缘于激活函数,而缘于同样的权重在不同的时间点被反复使用.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc