知识卡片

普通读书笔记卡 · 6473.d.2.a.2 · 生成模型:未记录

双向循环网络的上下文

理解等级:中级

双向循环网络分别按正序和逆序处理输入序列,再将两个方向的状态用于预测。这样一个词的输出可以同时利用它之前和之后的上下文,适合完整句子已知的槽填充;若必须实时输出且未来输入尚不可得,就不能直接使用完整逆向上下文。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 5.4.2 双向循环神经网络 · 查看原书依据

      循环神经网络还可以是双向. 为RNN输入一个句子,RNN将从句首一直读到句尾.如图5.11 所示,假设句子里的每一个词用表示,可以先读,再读和.但读取方向也可以反过来,先读,再读和.我们在训练一个正向的循环神经网络的同时,也可以训练一个逆向的循环神经网络,然后把这两个循环神经网络的隐藏层拿出来,接给一个输出层,得到最后的. 以此类推,产生和.双向循环神经网络(Bidirectional Recurrent Neural Network,Bi-RNN)的优点是,神经元在产生输出的时候,看的范围是比较广的.如果只有正向的循环神经网络,那么在产生的时候,神经元就只看过从到的输入.但双向循环神经网络在产生的时候,神经元不只看过从到的输入,也看到从句尾到的输入,相当于看过整个输入序列.假设考虑的是槽填充,网络就等于在看了整个句子后,才决定每一个词的槽,这比只看句子的一半可以得到更好的性能.

    参考来源

    - 位置:《深度学习详解》第5章《循环神经网络》5.4.2 双向循环神经网络(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`) - 结论依据:原文以结构图对比隐藏状态与输出反馈,并说明双向序列的上下文范围。 - 原始内容:循环神经网络还可以是双向. 为RNN输入一个句子,RNN将从句首一直读到句尾.如图5.11 所示,假设句子里的每一个词用表示,可以先读,再读和.但读取方向也可以反过来,先读,再读和.我们在训练一个正向的循环神经网络的同时,也可以训练一个逆向的循环神经网络,然后把这两个循环神经网络的隐藏层拿出来,接给一个输出层,得到最后的. 以此类推,产生和.双向循环神经网络(Bidirectional Recurrent Neural Network,Bi-RNN)的优点是,神经元在产生输出的时候,看的范围是比较广的.如果只有正向的循环神经网络,那么在产生的时候,神经元就只看过从到的输入.但双向循环神经网络在产生的时候,神经元不只看过从到的输入,也看到从句尾到的输入,相当于看过整个输入序列.假设考虑的是槽填充,网络就等于在看了整个句子后,才决定每一个词的槽,这比只看句子的一半可以得到更好的性能.