知识卡片

普通读书笔记卡 · 6473.d.2.a.4.a.1 · 生成模型:未记录

梯度裁剪限制更新

理解等级:中级

梯度裁剪在梯度过大时限制其幅度,从而避免一次参数更新过大。它可以减轻梯度爆炸引起的训练震荡,但不会凭空恢复已经消失的梯度;阈值和具体采用逐值裁剪还是范数裁剪需要按实现选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 5.6 RNN的学习方式 · 查看原书依据

      裁剪(clipping)可以解决该问题. 当梯度大于某个阈值的时候,不要让它超出那个阈值,比如当梯度大于15时,让梯度等于15结束. 因为梯度不会太大,所以在裁剪的时候,就算踩到了悬崖边,也还可以继续进行RNN的训练,如图5.30中的绿色点所示.

    参考来源

    - 位置:《深度学习详解》第5章《循环神经网络》5.6 RNN的学习方式(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`) - 结论依据:原文以序列损失、时间展开及线性重复权重例子解释训练,并介绍梯度裁剪。 - 原始内容:裁剪(clipping)可以解决该问题. 当梯度大于某个阈值的时候,不要让它超出那个阈值,比如当梯度大于15时,让梯度等于15结束. 因为梯度不会太大,所以在裁剪的时候,就算踩到了悬崖边,也还可以继续进行RNN的训练,如图5.30中的绿色点所示.