知识卡片
RNN 的梯度爆炸与消失
RNN 的隐层之间直接相连,当前隐层由当前输入和上一时刻隐层共同决定,所以预测下一个词时能用上前面所有的词,这正是 BP 这种层间无连接的网络做不到的。
代价在训练:RNN 用 BPTT,把网络按时间展开成一条很深的链再反向传播。链上每退一步都要乘一次权重矩阵和激活导数,梯度于是随步数指数放大或衰减。爆炸表现为参数一步被推到很远,训练直接崩掉;消失表现为远处的词对当前更新几乎没有影响,模型“记不住”长距离依赖。两者的处理难度完全不同:爆炸只需在梯度范数超过阈值时按比例缩小(裁剪),是工程手段;消失没法靠调参解决,只能改结构,让信息有一条不必反复乘矩阵的通路。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(下) · 查看原书依据
但是在误差计算的过程中会出现梯度爆炸和梯度消失问题(论文《On the Difficulty of Training Recurrent Neural Networks》中有详细的证明)。梯度爆炸问题比较容易解决,Mikolov提出了一种很简单的解决方案:当梯度超过某一个阈值的时候,就给它赋予一个小的值。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「但是在误差计算的过程中会出现梯度爆炸和梯度消失问题(论文《On the Diff……」
- 原始内容:但是在误差计算的过程中会出现梯度爆炸和梯度消失问题(论文《On the Difficulty of Training Recurrent Neural Networks》中有详细的证明)。梯度爆炸问题比较容易解决,Mikolov提出了一种很简单的解决方案:当梯度超过某一个阈值的时候,就给它赋予一个小的值。