知识卡片
门控缓解长期梯度问题
LSTM 将旧记忆经遗忘门缩放后与新信息相加,为跨多步保留状态提供一条路径;当遗忘门接近 1 时,这条路径的影响可以保留较久。门值、序列长度和其他路径仍会影响梯度,因此它只能缓解梯度消失,不能保证消除,也不自动解决梯度爆炸。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 5.7 梯度消失与爆炸 · 查看原书依据
遗忘门可能会把记忆元里的值“清洗”掉. 其实,LSTM网络的第一个版本就是为了解决梯度消失的问题,因而没有遗忘门,遗忘门是后来才加进去的. 甚至有人认为,在训练LSTM网络的时候,要给遗忘门特别大的偏置,以确保遗忘门在大多数情况下是开启的,而只有在少数情况下是关闭的.
参考来源
- 位置:《深度学习详解》第5章《循环神经网络》5.7 梯度消失与爆炸(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`)
- 结论依据:原文讨论门控记忆、序列任务形态、CTC 对齐或序列生成;相关图式已读取。
- 原始内容:遗忘门可能会把记忆元里的值“清洗”掉. 其实,LSTM网络的第一个版本就是为了解决梯度消失的问题,因而没有遗忘门,遗忘门是后来才加进去的. 甚至有人认为,在训练LSTM网络的时候,要给遗忘门特别大的偏置,以确保遗忘门在大多数情况下是开启的,而只有在少数情况下是关闭的.