知识卡片
循环状态汇集历史与当前输入
循环神经网络在每个时间步以当前输入 xₜ 和上一状态 hₜ₋₁ 计算新状态,例如 hₜ=φ(Wₓxₜ+Wₕhₜ₋₁+b),再由状态产生输出。初始状态可以设为零或由模型指定,跨时间步通常共享同一组参数。展开图把循环画成时间上的连续计算,使当前结果能够依赖先前输入;但有限状态和训练中的梯度问题使其不能保证保存任意长的历史。RNN 是一种序列建模方式,卷积和其他前馈结构也可以设计为处理序列。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环递归RNN,序列建模套路深 14.4 · 查看原书依据
第t时刻的记忆信息,是由前(t-1)个时间步累计而成的结果
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第14章《循环递归RNN,序列建模套路深》,14.4(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter19_0004.xhtml#txt014_10)
- 结论依据:原文图 14-6、14-7 将当前输入与前一状态连到本时刻,公式示例使用通用矩阵记法。
- 原始内容:第t时刻的记忆信息,是由前(t-1)个时间步累计而成的结果