知识卡片
序列建模的双向RNN
普通RNN具有因果结构:时刻 t 的状态只能从过去输入与当前输入捕获信息。但许多任务需要未来信息——语音识别中协同发音使当前音素的解释依赖未来音素乃至未来词,手写识别同理。双向RNN用两个子网络满足这一需求:一个从序列起点随时间向前传播状态 h(t),另一个从序列末尾向后传播状态 g(t)。输出单元 o(t) 结合二者,得到同时依赖过去与未来、且对时刻 t 输入最敏感的表示,无需像前馈或卷积网络那样指定固定大小的上下文窗口。该思想可扩展到图像,用上、下、左、右四个方向的RNN,在捕捉局部信息的同时保留长期横向相互作用。边界:必须获得完整序列才能计算,且用于图像时计算成本通常高于卷积网络。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 序列建模:循环和递归网络 · 查看原书依据
顾名思义,双向RNN结合时间上从序列起点开始移动的RNN和另一个时间上从序列末尾开始移动的RNN。图10.11展示了典型的双向RNN,其中 h (t) 代表通过时间向前移动的子RNN的状态, g (t) 代表通过时间向后移动的子RNN的状态。
参考来源
- 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:原文指出普通RNN的因果局限与协同发音等需要未来信息的场景,并说明双向RNN用向前与向后子网络结合输出。
- 原始内容:顾名思义,双向RNN结合时间上从序列起点开始移动的RNN和另一个时间上从序列末尾开始移动的RNN。图10.11展示了典型的双向RNN,其中 h (t) 代表通过时间向前移动的子RNN的状态, g (t) 代表通过时间向后移动的子RNN的状态。