← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9779.k · 生成模型:DeepSeek-V4.1-Flash

简单RNN记不住长期依赖

理解等级:高级

最简单的 RNN 每一步都用全部隐藏状态重算一遍,然后直接覆盖旧状态:新状态等于 tanh(W·输入 + U·旧状态 + b)。这意味着很久以前的信息每步都被重新混合、压缩进同一个定长向量,梯度沿时间反传时反复乘以权重矩阵,容易衰减到消失或放大到爆炸,模型实际只学得到邻近几步的规律。改进方向是让状态“部分保留、部分更新”:LSTM 和 GRU 引入参数化的门,控制哪些维度写入、哪些维持、哪些输出,使长距离信息可以近乎原样地传下去。这些变体参数更多、代码更复杂,但解决的是同一个结构性问题,而不只是调参技巧。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第21章 自然语言处理 · 查看原书依据

      SimpleRnn 有两个问题:一是它的整个隐藏状态用于在每次调用它时更新输入;二是每次调用时,整个隐藏状态都会被覆盖。这些都使训练变得很困难,尤其是使模型难以学习长期依赖关系。

    参考来源

    - 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「SimpleRnn 有两个问题:一是它的整个隐藏状态用于在每次调用它时更新输入……」 - 原始内容:SimpleRnn 有两个问题:一是它的整个隐藏状态用于在每次调用它时更新输入;二是每次调用时,整个隐藏状态都会被覆盖。这些都使训练变得很困难,尤其是使模型难以学习长期依赖关系。