知识卡片
梯度裁剪限制更新
梯度裁剪在梯度过大时限制其幅度,从而避免一次参数更新过大。它可以减轻梯度爆炸引起的训练震荡,但不会凭空恢复已经消失的梯度;阈值和具体采用逐值裁剪还是范数裁剪需要按实现选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 5.6 RNN的学习方式 · 查看原书依据
裁剪(clipping)可以解决该问题. 当梯度大于某个阈值的时候,不要让它超出那个阈值,比如当梯度大于15时,让梯度等于15结束. 因为梯度不会太大,所以在裁剪的时候,就算踩到了悬崖边,也还可以继续进行RNN的训练,如图5.30中的绿色点所示.
参考来源
- 位置:《深度学习详解》第5章《循环神经网络》5.6 RNN的学习方式(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`)
- 结论依据:原文以序列损失、时间展开及线性重复权重例子解释训练,并介绍梯度裁剪。
- 原始内容:裁剪(clipping)可以解决该问题. 当梯度大于某个阈值的时候,不要让它超出那个阈值,比如当梯度大于15时,让梯度等于15结束. 因为梯度不会太大,所以在裁剪的时候,就算踩到了悬崖边,也还可以继续进行RNN的训练,如图5.30中的绿色点所示.