知识卡片
GRU的复位门与更新门
GRU 是 LSTM 之后提出的门控替代架构,只有两个信息门,却常与 LSTM 相当。复位门 r=sigmoid(U_r x[t]+W_r s[t-1]) 控制从前一状态 s[t-1] 忘掉多少信息;更新门 p=sigmoid(U_p x[t]+W_p s[t-1]) 决定前一内存能向前传递多少。候选当前存储按 c’=tanh(U_c x[t]+W_c(r.*s[t-1])) 计算,复位门直接作用于前一隐藏状态;隐藏状态更新为 s[t]=(1−p).*c’+p.*s[t-1],p 越接近 1 保留旧内存越多,越接近 0 则当前内存占比越大。若 p 全零、r 全一,网络退化为普通 RNN。门权重同样经 BPTT 训练,见[[LSTM的门控机制]]的对比。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 GRU RNN · 查看原书依据
最后,在时间步t的隐藏状态s[t]被更新为s[t] = (1 - p) .* c' + p .* s[t-1]。 同样,p决定用于更新当前内存的先前内存的比例–越接近1,则保留的内存就越多; 距离0越近,发生的当前存储器越多。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文给出复位门、更新门与 s[t]=(1−p).*c'+p.*s[t-1] 的更新式,支撑 GRU 以两门实现门控并兼容普通 RNN 的结论。
- 原始内容:最后,在时间步t的隐藏状态s[t]被更新为s[t] = (1 - p) .* c' + p .* s[t-1]。 同样,p决定用于更新当前内存的先前内存的比例–越接近1,则保留的内存就越多; 距离0越近,发生的当前存储器越多。