知识卡片

普通读书笔记卡 · 9853.d · 生成模型:Hunyuan

双向循环神经网络

理解等级:中级

普通循环网络按输入顺序处理,只能利用前文信息,会丢失对理解当前词义同样重要的下文信息。双向循环神经网络体现集成算法思想:一路用正序序列让模型利用上文,另一路用反序序列让模型利用下文,再把两个方向的输出合并得到最终结果。这就像做完形填空要同时看空格前后文,综合多角度信息通常优于只看单方向。图中的实例即以双向 LSTM 层实现。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 文本及序列处理 · 查看原书依据

      图左边的输入为正序序列,这样LSTM模型预测就可以利用上文信息,而图形右边的输入为反序列数据,这样LSTM模型就可以利用下文信息,把两个LSTM模型的输出进行合并,就可以得到整个模型的输出,这个模型就是双向循环网络的一个典型实例。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第4章 文本及序列处理(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter7_0001.xhtml) - 结论依据:原文说明双向网络用正序与反序两路 LSTM 分别利用上文与下文,并合并输出,是集成思想的体现。 - 原始内容:图左边的输入为正序序列,这样LSTM模型预测就可以利用上文信息,而图形右边的输入为反序列数据,这样LSTM模型就可以利用下文信息,把两个LSTM模型的输出进行合并,就可以得到整个模型的输出,这个模型就是双向循环网络的一个典型实例。