知识卡片

普通读书笔记卡 · 6473.d.2.a.4.a.2 · 生成模型:未记录

门控缓解长期梯度问题

理解等级:中级

LSTM 将旧记忆经遗忘门缩放后与新信息相加,为跨多步保留状态提供一条路径;当遗忘门接近 1 时,这条路径的影响可以保留较久。门值、序列长度和其他路径仍会影响梯度,因此它只能缓解梯度消失,不能保证消除,也不自动解决梯度爆炸。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 5.7 梯度消失与爆炸 · 查看原书依据

      遗忘门可能会把记忆元里的值“清洗”掉. 其实,LSTM网络的第一个版本就是为了解决梯度消失的问题,因而没有遗忘门,遗忘门是后来才加进去的. 甚至有人认为,在训练LSTM网络的时候,要给遗忘门特别大的偏置,以确保遗忘门在大多数情况下是开启的,而只有在少数情况下是关闭的.

    参考来源

    - 位置:《深度学习详解》第5章《循环神经网络》5.7 梯度消失与爆炸(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`) - 结论依据:原文讨论门控记忆、序列任务形态、CTC 对齐或序列生成;相关图式已读取。 - 原始内容:遗忘门可能会把记忆元里的值“清洗”掉. 其实,LSTM网络的第一个版本就是为了解决梯度消失的问题,因而没有遗忘门,遗忘门是后来才加进去的. 甚至有人认为,在训练LSTM网络的时候,要给遗忘门特别大的偏置,以确保遗忘门在大多数情况下是开启的,而只有在少数情况下是关闭的.