知识卡片
简单RNN记不住长期依赖
最简单的 RNN 每一步都用全部隐藏状态重算一遍,然后直接覆盖旧状态:新状态等于 tanh(W·输入 + U·旧状态 + b)。这意味着很久以前的信息每步都被重新混合、压缩进同一个定长向量,梯度沿时间反传时反复乘以权重矩阵,容易衰减到消失或放大到爆炸,模型实际只学得到邻近几步的规律。改进方向是让状态“部分保留、部分更新”:LSTM 和 GRU 引入参数化的门,控制哪些维度写入、哪些维持、哪些输出,使长距离信息可以近乎原样地传下去。这些变体参数更多、代码更复杂,但解决的是同一个结构性问题,而不只是调参技巧。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 自然语言处理 · 查看原书依据
SimpleRnn 有两个问题:一是它的整个隐藏状态用于在每次调用它时更新输入;二是每次调用时,整个隐藏状态都会被覆盖。这些都使训练变得很困难,尤其是使模型难以学习长期依赖关系。
参考来源
- 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「SimpleRnn 有两个问题:一是它的整个隐藏状态用于在每次调用它时更新输入……」
- 原始内容:SimpleRnn 有两个问题:一是它的整个隐藏状态用于在每次调用它时更新输入;二是每次调用时,整个隐藏状态都会被覆盖。这些都使训练变得很困难,尤其是使模型难以学习长期依赖关系。