知识卡片
三种循环网络门控对比
三种网络体现了从无门到多门再到简化门控的演进:标准 RNN 只有隐藏状态、没有任何门,隐状态逐步刷新导致长序列上梯度消失,只剩短期记忆;LSTM 引入遗忘门、输入门、输出门三道门和独立单元状态,能有选择地保留长期信息,但结构复杂、计算量大;GRU 把三门合并为更新门与重置门,并将状态与输出合二为一,在性能接近 LSTM 的前提下更轻快。选择时可在长依赖需求与计算成本之间权衡,结构细节见 [[LSTM的门控机制]] 与 [[GRU的双门简化]]。
结构图:
classDiagram
class VanillaRNN {
+hiddenState
+noGate
+shortTermMemory
}
class LSTM {
+forgetGate
+inputGate
+outputGate
+cellState
}
class GRU {
+updateGate
+resetGate
+hiddenState
}
VanillaRNN --> LSTM
LSTM --> GRU
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 文本及序列处理 · 查看原书依据
在RNN的反向传播时,若按照时间步进行梯度推导,即按照RNN中的BPTT(Back Propagation Through Time,随时间反向传播)算法推导时,极易导致梯度消失或爆炸。这便说明,RNN不具备长期记忆,而只具备短期记忆。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第4章 文本及序列处理(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter7_0001.xhtml)
- 结论依据:原文指出 RNN 因 BPTT 梯度消失而只具短期记忆,LSTM 用门解决长期依赖,GRU 在 LSTM 基础合并门控以简化结构。
- 原始内容:在RNN的反向传播时,若按照时间步进行梯度推导,即按照RNN中的BPTT(Back Propagation Through Time,随时间反向传播)算法推导时,极易导致梯度消失或爆炸。这便说明,RNN不具备长期记忆,而只具备短期记忆。