知识卡片

普通读书笔记卡 · 2827.e

LSTM三个门

理解等级:未标注

LSTM 是专门为解决普通 RNN 的长期依赖问题设计的,也是 RNN 得以成功应用的关键。它用三个门管理状态:遗忘门决定从上一时刻的状态中丢弃哪些信息;输入门决定把哪些新信息写入状态,两者一起更新状态;输出门从更新后的状态中过滤出当前时刻的输出。它学的不是记住一切,而是有选择地保留和遗忘。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习实战》第7章《分布式深度学习实战》(源文件:_epub-src/OEBPS/Text/chapter7.xhtml) - 结论依据:原文说明LSTM是为解决一般RNN长期依赖问题而设计的;第一步遗忘门决定从上一时刻状态中丢弃什么信息;第二步输入门决定哪些输入信息保存到状态中;第三步用两者更新状态;最后输出门过滤状态得到当前输出;LSTM是RNN被成功应用的关键。 - 原始内容:LSTM解决了RNN不支持长期依赖的问题,使其大幅度提升记忆时长。……LSTM的第一步是决定要从上一个时刻的状态中丢弃什么信息,其是由一个sigmoid全连接的前馈神经网络的输出管理,将这种操作称为遗忘门(forget get layer)