知识卡片

普通读书笔记卡 · 9790.f · 生成模型:DeepSeek-V4.1-Flash

RNN 的梯度爆炸与消失

理解等级:中级

RNN 的隐层之间直接相连,当前隐层由当前输入和上一时刻隐层共同决定,所以预测下一个词时能用上前面所有的词,这正是 BP 这种层间无连接的网络做不到的。

代价在训练:RNN 用 BPTT,把网络按时间展开成一条很深的链再反向传播。链上每退一步都要乘一次权重矩阵和激活导数,梯度于是随步数指数放大或衰减。爆炸表现为参数一步被推到很远,训练直接崩掉;消失表现为远处的词对当前更新几乎没有影响,模型“记不住”长距离依赖。两者的处理难度完全不同:爆炸只需在梯度范数超过阈值时按比例缩小(裁剪),是工程手段;消失没法靠调参解决,只能改结构,让信息有一条不必反复乘矩阵的通路。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 让机器可以像人一样学习(下) · 查看原书依据

      但是在误差计算的过程中会出现梯度爆炸和梯度消失问题(论文《On the Difficulty of Training Recurrent Neural Networks》中有详细的证明)。梯度爆炸问题比较容易解决,Mikolov提出了一种很简单的解决方案:当梯度超过某一个阈值的时候,就给它赋予一个小的值。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html) - 结论依据:原文这一段直接给出本卡的核心判断:「但是在误差计算的过程中会出现梯度爆炸和梯度消失问题(论文《On the Diff……」 - 原始内容:但是在误差计算的过程中会出现梯度爆炸和梯度消失问题(论文《On the Difficulty of Training Recurrent Neural Networks》中有详细的证明)。梯度爆炸问题比较容易解决,Mikolov提出了一种很简单的解决方案:当梯度超过某一个阈值的时候,就给它赋予一个小的值。