知识卡片

普通读书笔记卡 · 9426 · 生成模型:Tencent Hunyuan Hy

RNN的反馈回路与记忆机制

理解等级:初级

循环神经网络(RNN)是一类允许数据沿任意方向流动、甚至循环回到输入层的模型,与前馈网络的单向流动不同。其核心是反馈回路:上一步输出会作为下一步输入的一部分。传统网络把不同时刻输入视为相互独立,输出写作 h[t]=f(x[t]);RNN 则把当前状态传递下去,输出写作 h[t]=f(h[t-1], x[t])。对序列每个元素执行相同的 f,输出 h[t] 依赖先前算出的 h[t-1],形成链式架构。这种结构让隐藏状态充当内存、捕获此前信息,因此在时间序列(如产品销售、股票价格)和顺序输入(如文章单词、DNA 序列)建模上取得成功。其长期依赖的局限见[[梯度消失与长期依赖]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 什么是 RNN? · 查看原书依据

      在 RNN 中,反馈回路将当前状态的信息传递到下一个状态,如下图的网络展开版本所示。 RNN 网络在任何时间的输出都可以写成h[t] = f(h[t-1], x[t])。 对序列的每个元素执行相同的任f,并且输出h[t]取决于先前计算的输出h[t-1]。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文以 h[t]=f(h[t-1],x[t]) 与链式架构说明反馈回路使隐藏状态成为内存,支撑 RNN 适合顺序数据的结论。 - 原始内容:在 RNN 中,反馈回路将当前状态的信息传递到下一个状态,如下图的网络展开版本所示。 RNN 网络在任何时间的输出都可以写成h[t] = f(h[t-1], x[t])。 对序列的每个元素执行相同的任f,并且输出h[t]取决于先前计算的输出h[t-1]。