原书出处
深度学习详解
05 循环神经网络 5.5 LSTM网络原理
之前那个相加以后的结果就是记忆元里存放的值,反复执行这个过程,在下一个时间点输入,把跟输入门相乘,把遗忘门的值跟记忆元里的值相乘,再将前面的两个值相加,乘以输出门的值,得到下一个时间点的输出.但这还不是LSTM网络的最终形态,真正的LSTM网络会把上一个时间点的输出接进来,当作下一个时间点的输入,即下一个时间点在操控这些门的值时,不仅看那个时间点的输入,还看前一个时间点的输出. 其实不仅如此,还会添加 peephole 连接,如图5.25 所示.peephole连接就是把存在记忆元里的值也考虑进来. 在操控LSTM的4个门时,需要同时考虑、、,先将这三个向量并在一起执行不同的变换,得到4个不同的向量,之后再操控LSTM.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc