知识卡片

结构图卡 · 9853.e · 生成模型:Hunyuan

三种循环网络门控对比

理解等级:高级

三种网络体现了从无门到多门再到简化门控的演进:标准 RNN 只有隐藏状态、没有任何门,隐状态逐步刷新导致长序列上梯度消失,只剩短期记忆;LSTM 引入遗忘门、输入门、输出门三道门和独立单元状态,能有选择地保留长期信息,但结构复杂、计算量大;GRU 把三门合并为更新门与重置门,并将状态与输出合二为一,在性能接近 LSTM 的前提下更轻快。选择时可在长依赖需求与计算成本之间权衡,结构细节见 [[LSTM的门控机制]] 与 [[GRU的双门简化]]。

结构图:

classDiagram
    class VanillaRNN {
        +hiddenState
        +noGate
        +shortTermMemory
    }
    class LSTM {
        +forgetGate
        +inputGate
        +outputGate
        +cellState
    }
    class GRU {
        +updateGate
        +resetGate
        +hiddenState
    }
    VanillaRNN --> LSTM
    LSTM --> GRU
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 文本及序列处理 · 查看原书依据

      在RNN的反向传播时,若按照时间步进行梯度推导,即按照RNN中的BPTT(Back Propagation Through Time,随时间反向传播)算法推导时,极易导致梯度消失或爆炸。这便说明,RNN不具备长期记忆,而只具备短期记忆。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第4章 文本及序列处理(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter7_0001.xhtml) - 结论依据:原文指出 RNN 因 BPTT 梯度消失而只具短期记忆,LSTM 用门解决长期依赖,GRU 在 LSTM 基础合并门控以简化结构。 - 原始内容:在RNN的反向传播时,若按照时间步进行梯度推导,即按照RNN中的BPTT(Back Propagation Through Time,随时间反向传播)算法推导时,极易导致梯度消失或爆炸。这便说明,RNN不具备长期记忆,而只具备短期记忆。