知识卡片
LSTM三个门
LSTM 是专门为解决普通 RNN 的长期依赖问题设计的,也是 RNN 得以成功应用的关键。它用三个门管理状态:遗忘门决定从上一时刻的状态中丢弃哪些信息;输入门决定把哪些新信息写入状态,两者一起更新状态;输出门从更新后的状态中过滤出当前时刻的输出。它学的不是记住一切,而是有选择地保留和遗忘。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第7章《分布式深度学习实战》(源文件:_epub-src/OEBPS/Text/chapter7.xhtml)
- 结论依据:原文说明LSTM是为解决一般RNN长期依赖问题而设计的;第一步遗忘门决定从上一时刻状态中丢弃什么信息;第二步输入门决定哪些输入信息保存到状态中;第三步用两者更新状态;最后输出门过滤状态得到当前输出;LSTM是RNN被成功应用的关键。
- 原始内容:LSTM解决了RNN不支持长期依赖的问题,使其大幅度提升记忆时长。……LSTM的第一步是决定要从上一个时刻的状态中丢弃什么信息,其是由一个sigmoid全连接的前馈神经网络的输出管理,将这种操作称为遗忘门(forget get layer)