知识卡片
双向循环神经网络
普通循环网络按输入顺序处理,只能利用前文信息,会丢失对理解当前词义同样重要的下文信息。双向循环神经网络体现集成算法思想:一路用正序序列让模型利用上文,另一路用反序序列让模型利用下文,再把两个方向的输出合并得到最终结果。这就像做完形填空要同时看空格前后文,综合多角度信息通常优于只看单方向。图中的实例即以双向 LSTM 层实现。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 文本及序列处理 · 查看原书依据
图左边的输入为正序序列,这样LSTM模型预测就可以利用上文信息,而图形右边的输入为反序列数据,这样LSTM模型就可以利用下文信息,把两个LSTM模型的输出进行合并,就可以得到整个模型的输出,这个模型就是双向循环网络的一个典型实例。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第4章 文本及序列处理(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter7_0001.xhtml)
- 结论依据:原文说明双向网络用正序与反序两路 LSTM 分别利用上文与下文,并合并输出,是集成思想的体现。
- 原始内容:图左边的输入为正序序列,这样LSTM模型预测就可以利用上文信息,而图形右边的输入为反序列数据,这样LSTM模型就可以利用下文信息,把两个LSTM模型的输出进行合并,就可以得到整个模型的输出,这个模型就是双向循环网络的一个典型实例。