原书出处
深度学习详解
05 循环神经网络 5.6 RNN的学习方式
裁剪(clipping)可以解决该问题. 当梯度大于某个阈值的时候,不要让它超出那个阈值,比如当梯度大于15时,让梯度等于15结束. 因为梯度不会太大,所以在裁剪的时候,就算踩到了悬崖边,也还可以继续进行RNN的训练,如图5.30中的绿色点所示.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc