← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9426.k · 生成模型:Tencent Hunyuan Hy

GRU与LSTM的关键差异

理解等级:高级

GRU 与 LSTM 都用门控机制做长期建模、门参数都经 BPTT 训练,但存在若干值得注意的差异。其一,LSTM 有三个信息门,GRU 只有两个;其二,GRU 的更新门合并了 LSTM 输入门与遗忘门的职责;其三,GRU 的复位门直接施加在先前隐藏状态上;其四,LSTM 显式建模存储单元 c[t],GRU 则不显式分离;此外 LSTM 在更新后的隐藏状态上还多一次非线性。一般认为 GRU 参数更少,训练相对更快、需要的数据更少,因此在训练量小的情况下效果可能更好。不过 LSTM 1997 年提出、研究更充分,GRU 2014 年才出现,二者无绝对优劣,见[[LSTM的门控机制]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 GRU RNN · 查看原书依据

      LSTM 中有三个信息门,而 GRU 中只有两个。 GRU 中的更新门负责输入门和 LSTM 中的遗忘门。 GRU 中的重置门直接应用于先前的隐藏状态。 LSTM 显式地对存储单元c[t]进行建模,而 GRU 则不。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文逐项列出门数量、职责合并与显式存储单元等差异并比较训练代价,支撑两架构各有取舍、无绝对优劣的结论。 - 原始内容:LSTM 中有三个信息门,而 GRU 中只有两个。 GRU 中的更新门负责输入门和 LSTM 中的遗忘门。 GRU 中的重置门直接应用于先前的隐藏状态。 LSTM 显式地对存储单元c[t]进行建模,而 GRU 则不。