知识卡片
LSTM门控输入与反馈
LSTM 层把输入转换成候选信息以及输入、遗忘、输出门所需的不同信号,各单元并行更新记忆状态。当前门控通常同时依赖当前输入和上一时刻的隐藏状态;某些变体还用 peephole 连接让门读取记忆状态。多个 LSTM 层可以堆叠,门控机制见 [[LSTM门控记忆]]。GRU 是另一种门控循环单元,书中将它概述为门数更少的变体;两者的表现仍需针对任务比较。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 5.5 LSTM网络原理 · 查看原书依据
之前那个相加以后的结果就是记忆元里存放的值,反复执行这个过程,在下一个时间点输入,把跟输入门相乘,把遗忘门的值跟记忆元里的值相乘,再将前面的两个值相加,乘以输出门的值,得到下一个时间点的输出.但这还不是LSTM网络的最终形态,真正的LSTM网络会把上一个时间点的输出接进来,当作下一个时间点的输入,即下一个时间点在操控这些门的值时,不仅看那个时间点的输入,还看前一个时间点的输出. 其实不仅如此,还会添加 peephole 连接,如图5.25 所示.peephole连接就是把存在记忆元里的值也考虑进来. 在操控LSTM的4个门时,需要同时考虑、、,先将这三个向量并在一起执行不同的变换,得到4个不同的向量,之后再操控LSTM.
参考来源
- 位置:《深度学习详解》第5章《循环神经网络》5.5(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`)
- 结论依据:原文以向量化结构图展示四组信号、上一时刻反馈、peephole 和多层结构,并提及 GRU。
- 原始内容:之前那个相加以后的结果就是记忆元里存放的值,反复执行这个过程,在下一个时间点输入,把跟输入门相乘,把遗忘门的值跟记忆元里的值相乘,再将前面的两个值相加,乘以输出门的值,得到下一个时间点的输出.但这还不是LSTM网络的最终形态,真正的LSTM网络会把上一个时间点的输出接进来,当作下一个时间点的输入,即下一个时间点在操控这些门的值时,不仅看那个时间点的输入,还看前一个时间点的输出. 其实不仅如此,还会添加 peephole 连接,如图5.25 所示.peephole连接就是把存在记忆元里的值也考虑进来. 在操控LSTM的4个门时,需要同时考虑、、,先将这三个向量并在一起执行不同的变换,得到4个不同的向量,之后再操控LSTM.