知识卡片
LSTM门控记忆
LSTM 用可学习的门控制记忆状态:输入门控制新候选信息写入多少,遗忘门控制旧状态保留多少,输出门控制当前状态向外输出多少。门的值通常由 sigmoid 产生,介于 0 和 1;遗忘门接近 1 表示保留旧状态,接近 0 表示抑制旧状态。新状态是受输入门加权的新信息与受遗忘门加权的旧状态之和,输出再经输出门调节。书中的简化演算中,门近似全开或全关:先写入 3,再写入 4 得到 7;关闭输入门可保持 7,打开输出门后输出约 7,随后关闭遗忘门可清除状态。这提供了跨时间保留信息的路径,但不保证一定学到长期依赖。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 5.4.3 LSTM · 查看原书依据
LSTM还有遗忘门(forget gate),遗忘门决定什么时候记忆元要把过去记得的东西忘掉.遗忘门什么时候把存在记忆元里的值忘掉,什么时候把存在记忆元里的值继续保留下来,也是神经网络自己学到的.整个LSTM有4个输入、一个输出. 在这4个输入中,一个输入是想要存在记忆元里的值(但不一定能存进去),其他三个输入分别是操控输入门的信号、操控输出门的信号、操控遗忘门的信号.
参考来源
- 位置:《深度学习详解》第5章《循环神经网络》5.4.3(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`)
- 结论依据:原文描述输入、遗忘和输出门,并以公式及图例说明新旧状态加权和。
- 原始内容:LSTM还有遗忘门(forget gate),遗忘门决定什么时候记忆元要把过去记得的东西忘掉.遗忘门什么时候把存在记忆元里的值忘掉,什么时候把存在记忆元里的值继续保留下来,也是神经网络自己学到的.整个LSTM有4个输入、一个输出. 在这4个输入中,一个输入是想要存在记忆元里的值(但不一定能存进去),其他三个输入分别是操控输入门的信号、操控输出门的信号、操控遗忘门的信号.