← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9853.c · 生成模型:Hunyuan

GRU的双门简化

理解等级:中级

GRU 是在 LSTM 基础上提出的简化变体,针对 LSTM 结构复杂、计算量高的问题做了两个关键改动:把输入门、遗忘门、输出门合并为更新门 z_t 和重置门 r_t 两个门;并把单元状态与输出合并为单一状态 h_t。门更少、结构更简单,使 GRU 计算效率更高、占用内存更少,而实际使用中它与 LSTM 性能差异不大,因此日益流行。二者门控结构的差异见 [[三种循环网络门控对比]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 文本及序列处理 · 查看原书依据

      GRU在LSTM的基础做了两个大改动。 将输入门、遗忘门、输出门变为两个门:更新门(Update Gate)z t和重置门(Reset Gate)r t。 将单元状态与输出合并为一个状态h t。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第4章 文本及序列处理(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter7_0001.xhtml) - 结论依据:原文列出 GRU 相对 LSTM 的两项改动,并说明其少一个门、效率更高且性能差异不大。 - 原始内容:GRU在LSTM的基础做了两个大改动。 将输入门、遗忘门、输出门变为两个门:更新门(Update Gate)z t和重置门(Reset Gate)r t。 将单元状态与输出合并为一个状态h t。