知识卡片
双向循环网络BRNN
双向 RNN(BRNN)为突破单向 RNN 只能用过去信息的局限而设计。单向 RNN 的信息只从过去经当前流向未来,当前状态无法利用未来输入;例如补全“Machine __ combines…”时,只看前三个词很难猜出 learning,但若知道后面的词就更容易。BRNN 的隐藏层由两个独立的循环层组成:一层沿正时间方向(正向)让信息从过去流向当前,另一层沿负时间方向(反向)让信息从将来到当前;两层连接形成隐藏层 f,同时保留过去与将来的上下文。当任务需要完整上下文(如词性标记、实体识别、手写识别、语音识别、机器翻译、图像字幕)时尤其有用。与 LSTM 结合的应用见[[双向LSTM情感分类]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 双向 RNN · 查看原书依据
在 BRNN 中,隐藏层由两个独立的循环层组成。 这两层是相反的方向:一层为正时间方向,也称为正向,其中输入信息从过去流向当前状态。 另一个为负时间方向,也称为反向,其中从将来到当前状态处理输入信息。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文以正向与反向两层组成隐藏层说明 BRNN 同时利用过去与将来信息,支撑其适合需要完整上下文任务的结论。
- 原始内容:在 BRNN 中,隐藏层由两个独立的循环层组成。 这两层是相反的方向:一层为正时间方向,也称为正向,其中输入信息从过去流向当前状态。 另一个为负时间方向,也称为反向,其中从将来到当前状态处理输入信息。