知识卡片
循环网络的反馈位置
循环网络可以反馈不同的内部量。书中介绍的 Elman 网络将上一时刻隐藏层状态传给下一时刻,而 Jordan 网络反馈上一时刻的输出;两者均把过去的信息带到当前计算,但记忆内容与反馈位置不同。循环网络也可以堆叠多个隐藏层,每层保存并传递自己的跨时间状态。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 5.4.1 Elman 网络和 Jordan 网络 · 查看原书依据
循环神经网络有不同的变体,比如Elman网络和Jordan 网络,如图5.10 所示. 刚才讲的是简单循环网络(Simple Recurrent Network,SRN),Elman网络是简单循环网络的一种,它把隐藏层的值存起来,并在下一个时间点读出来.而Jordan 网络存的是整个网络输出的值,它会把输出值在下一个时间点读进来,并把输出存到记忆元里.Elman 网络没有目标,很难说它能学到什么隐藏层信息(学到什么都存到记忆元里);但Jordan 网络有目标,它很清楚记忆元里存了什么东西.
参考来源
- 位置:《深度学习详解》第5章《循环神经网络》5.4.1 Elman 网络和 Jordan 网络(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`)
- 结论依据:原文以结构图对比隐藏状态与输出反馈,并说明双向序列的上下文范围。
- 原始内容:循环神经网络有不同的变体,比如Elman网络和Jordan 网络,如图5.10 所示. 刚才讲的是简单循环网络(Simple Recurrent Network,SRN),Elman网络是简单循环网络的一种,它把隐藏层的值存起来,并在下一个时间点读出来.而Jordan 网络存的是整个网络输出的值,它会把输出值在下一个时间点读进来,并把输出存到记忆元里.Elman 网络没有目标,很难说它能学到什么隐藏层信息(学到什么都存到记忆元里);但Jordan 网络有目标,它很清楚记忆元里存了什么东西.