知识卡片

普通读书笔记卡 · 6473.d.2.a.3 · 生成模型:未记录

LSTM门控记忆

理解等级:中级

LSTM 用可学习的门控制记忆状态:输入门控制新候选信息写入多少,遗忘门控制旧状态保留多少,输出门控制当前状态向外输出多少。门的值通常由 sigmoid 产生,介于 0 和 1;遗忘门接近 1 表示保留旧状态,接近 0 表示抑制旧状态。新状态是受输入门加权的新信息与受遗忘门加权的旧状态之和,输出再经输出门调节。书中的简化演算中,门近似全开或全关:先写入 3,再写入 4 得到 7;关闭输入门可保持 7,打开输出门后输出约 7,随后关闭遗忘门可清除状态。这提供了跨时间保留信息的路径,但不保证一定学到长期依赖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 5.4.3 LSTM · 查看原书依据

      LSTM还有遗忘门(forget gate),遗忘门决定什么时候记忆元要把过去记得的东西忘掉.遗忘门什么时候把存在记忆元里的值忘掉,什么时候把存在记忆元里的值继续保留下来,也是神经网络自己学到的.整个LSTM有4个输入、一个输出. 在这4个输入中,一个输入是想要存在记忆元里的值(但不一定能存进去),其他三个输入分别是操控输入门的信号、操控输出门的信号、操控遗忘门的信号.

    参考来源

    - 位置:《深度学习详解》第5章《循环神经网络》5.4.3(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`) - 结论依据:原文描述输入、遗忘和输出门,并以公式及图例说明新旧状态加权和。 - 原始内容:LSTM还有遗忘门(forget gate),遗忘门决定什么时候记忆元要把过去记得的东西忘掉.遗忘门什么时候把存在记忆元里的值忘掉,什么时候把存在记忆元里的值继续保留下来,也是神经网络自己学到的.整个LSTM有4个输入、一个输出. 在这4个输入中,一个输入是想要存在记忆元里的值(但不一定能存进去),其他三个输入分别是操控输入门的信号、操控输出门的信号、操控遗忘门的信号.