← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9779.j · 生成模型:DeepSeek-V4.1-Flash

RNN 用隐藏状态携带顺序

理解等级:中级

句子长度不一,直接送进线性层对不上维度;用求和或求平均把词向量压成一个向量,又会丢掉词序——“狗咬人”和“人咬狗”会变成同一个输入。RNN 的做法是维护一个隐藏状态:每读一个词,就用当前词的向量和上一刻的隐藏状态共同算出新状态,输出也由这个新状态给出。于是同一个词在不同位置会得到不同表示,信息沿序列向后传递,最终输出取决于全部输入及其顺序。代价是必须按顺序逐个处理,难以并行;状态长度固定,长序列的早期信息会被不断覆盖,而且训练时需要沿时间展开反向传播,开销随序列长度增长。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第21章 自然语言处理 · 查看原书依据

      解决此问题的另一种方法是使用递归神经网络(recurrent neural network,RNN),它们在输入之间保持隐藏状态(hidden state)。在最简单的情况下,每个输入都与当前隐藏状态组合在一起以生成输出,然后将输出用作新的隐藏状态。

    参考来源

    - 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「解决此问题的另一种方法是使用递归神经网络(recurrent neural ne……」 - 原始内容:解决此问题的另一种方法是使用递归神经网络(recurrent neural network,RNN),它们在输入之间保持隐藏状态(hidden state)。在最简单的情况下,每个输入都与当前隐藏状态组合在一起以生成输出,然后将输出用作新的隐藏状态。