知识卡片
RNN状态递推
简单 RNN 按 hₜ=φ(Uxₜ+Whₜ₋₁+b) 处理序列:当前输入与前一状态共同形成当前状态。U、W、b 在各时刻共享,按时间展开后可视为多个相同参数的计算步骤。初始状态需约定;书中首步省略前态项,相当于取零初态。早期信息经递推可能影响后续状态,但不保证长期保留。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 7.1 RNN的结构 · 查看原书依据
前一时刻的状态与本时刻的输入共同决定了本时刻的状态
参考来源
- 位置:《用Python实现深度学习框架》第7章《循环神经网络》,7.1 RNN的结构(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_058.html`)
- 结论依据:原文以时间序列说明顺序,给出共享参数的状态递推及多种输出结构;全连接与长期记忆的边界为补充说明。
- 原始内容:前一时刻的状态与本时刻的输入共同决定了本时刻的状态。