知识卡片
RNN三种连接设计模式
按循环连接与输出位置的不同,RNN有三种典型架构。第一种每步都有输出且隐藏单元之间有循环,表达能力最强,是本章主要讨论的对象;第二种每步都有输出,但只有当前输出到下一隐藏单元的循环,较易并行训练却只能靠输出间接传递历史,往往丢失重要信息;第三种隐藏间有循环,但读完整序列后只产生一个输出,用于把序列概括成固定表示。图10.3这类有限维RNN是万能的:任何图灵可计算函数都能被它计算,所需时间步与图灵机步数、输入长度都呈渐近线性,且这属于函数的精确实现而非近似。区别在于信息能否通过隐藏状态 h 直接流向未来,第二种只能依赖高维且内容丰富的输出 o。迁移启发:表达力与可训练性之间往往需要权衡。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 序列建模:循环和递归网络 · 查看原书依据
图10.3是非常具有代表性的例子,我们将会在本章大部分涉及这个例子。 任何图灵可计算的函数都可以通过这样一个有限维的循环网络计算,在这个意义上图10.3和式(10.8)的循环神经网络是万能的。
参考来源
- 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:原文逐一描述三种连接设计模式,并论证图10.3的有限维RNN具有图灵完备的计算能力。
- 原始内容:图10.3是非常具有代表性的例子,我们将会在本章大部分涉及这个例子。 任何图灵可计算的函数都可以通过这样一个有限维的循环网络计算,在这个意义上图10.3和式(10.8)的循环神经网络是万能的。