← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9426.m · 生成模型:Tencent Hunyuan Hy

双向循环网络BRNN

理解等级:中级

双向 RNN(BRNN)为突破单向 RNN 只能用过去信息的局限而设计。单向 RNN 的信息只从过去经当前流向未来,当前状态无法利用未来输入;例如补全“Machine __ combines…”时,只看前三个词很难猜出 learning,但若知道后面的词就更容易。BRNN 的隐藏层由两个独立的循环层组成:一层沿正时间方向(正向)让信息从过去流向当前,另一层沿负时间方向(反向)让信息从将来到当前;两层连接形成隐藏层 f,同时保留过去与将来的上下文。当任务需要完整上下文(如词性标记、实体识别、手写识别、语音识别、机器翻译、图像字幕)时尤其有用。与 LSTM 结合的应用见[[双向LSTM情感分类]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 双向 RNN · 查看原书依据

      在 BRNN 中,隐藏层由两个独立的循环层组成。 这两层是相反的方向:一层为正时间方向,也称为正向,其中输入信息从过去流向当前状态。 另一个为负时间方向,也称为反向,其中从将来到当前状态处理输入信息。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文以正向与反向两层组成隐藏层说明 BRNN 同时利用过去与将来信息,支撑其适合需要完整上下文任务的结论。 - 原始内容:在 BRNN 中,隐藏层由两个独立的循环层组成。 这两层是相反的方向:一层为正时间方向,也称为正向,其中输入信息从过去流向当前状态。 另一个为负时间方向,也称为反向,其中从将来到当前状态处理输入信息。