知识卡片
RNN 用隐藏状态携带顺序
句子长度不一,直接送进线性层对不上维度;用求和或求平均把词向量压成一个向量,又会丢掉词序——“狗咬人”和“人咬狗”会变成同一个输入。RNN 的做法是维护一个隐藏状态:每读一个词,就用当前词的向量和上一刻的隐藏状态共同算出新状态,输出也由这个新状态给出。于是同一个词在不同位置会得到不同表示,信息沿序列向后传递,最终输出取决于全部输入及其顺序。代价是必须按顺序逐个处理,难以并行;状态长度固定,长序列的早期信息会被不断覆盖,而且训练时需要沿时间展开反向传播,开销随序列长度增长。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 自然语言处理 · 查看原书依据
解决此问题的另一种方法是使用递归神经网络(recurrent neural network,RNN),它们在输入之间保持隐藏状态(hidden state)。在最简单的情况下,每个输入都与当前隐藏状态组合在一起以生成输出,然后将输出用作新的隐藏状态。
参考来源
- 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「解决此问题的另一种方法是使用递归神经网络(recurrent neural ne……」
- 原始内容:解决此问题的另一种方法是使用递归神经网络(recurrent neural network,RNN),它们在输入之间保持隐藏状态(hidden state)。在最简单的情况下,每个输入都与当前隐藏状态组合在一起以生成输出,然后将输出用作新的隐藏状态。