知识卡片
原始RNN架构与权重
原始 RNN 是循环架构最基本的形式,由三组权重刻画:U 连接输入层与隐藏层,V 连接隐藏层与输出层,W 是循环层(反馈层)权重;s[t] 为时间步 t 的隐藏状态,x[t] 与 h[t] 分别是该步输入和输出。隐藏状态按 s[t]=a(Ux[t]+Ws[t-1]) 由当前输入与上一状态算出,a 是激活函数,典型取 tanh 或 ReLU;s[t-1] 又依赖 s[t-2],依此类推,s[0] 按惯例设为全零。输出按 h[t]=g(Vs[t]) 计算,g 依任务取 sigmoid(二分类)、softmax(多类分类)或线性函数(回归)。隐藏状态因这种时间依赖而成为捕获此前信息的内存。权重如何更新见[[BPTT时间反向传播]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 原始神经网络 · 查看原书依据
这里,U是连接输入层和隐藏层的权重,V是隐藏层和输出层之间的权重,W是循环层,即反馈层的权重; s[t]是时间步t的隐藏状态,x[t]和h[t]分别是时间步t的输入和输出。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文定义 U/V/W 三组权重及隐藏状态与输出的计算式,支撑原始 RNN 以共享权重和隐藏状态保存信息的结论。
- 原始内容:这里,U是连接输入层和隐藏层的权重,V是隐藏层和输出层之间的权重,W是循环层,即反馈层的权重; s[t]是时间步t的隐藏状态,x[t]和h[t]分别是时间步t的输入和输出。