← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9426.j · 生成模型:Tencent Hunyuan Hy

GRU的复位门与更新门

理解等级:高级

GRU 是 LSTM 之后提出的门控替代架构,只有两个信息门,却常与 LSTM 相当。复位门 r=sigmoid(U_r x[t]+W_r s[t-1]) 控制从前一状态 s[t-1] 忘掉多少信息;更新门 p=sigmoid(U_p x[t]+W_p s[t-1]) 决定前一内存能向前传递多少。候选当前存储按 c’=tanh(U_c x[t]+W_c(r.*s[t-1])) 计算,复位门直接作用于前一隐藏状态;隐藏状态更新为 s[t]=(1−p).*c’+p.*s[t-1],p 越接近 1 保留旧内存越多,越接近 0 则当前内存占比越大。若 p 全零、r 全一,网络退化为普通 RNN。门权重同样经 BPTT 训练,见[[LSTM的门控机制]]的对比。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 GRU RNN · 查看原书依据

      最后,在时间步t的隐藏状态s[t]被更新为s[t] = (1 - p) .* c' + p .* s[t-1]。 同样,p决定用于更新当前内存的先前内存的比例–越接近1,则保留的内存就越多; 距离0越近,发生的当前存储器越多。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文给出复位门、更新门与 s[t]=(1−p).*c'+p.*s[t-1] 的更新式,支撑 GRU 以两门实现门控并兼容普通 RNN 的结论。 - 原始内容:最后,在时间步t的隐藏状态s[t]被更新为s[t] = (1 - p) .* c' + p .* s[t-1]。 同样,p决定用于更新当前内存的先前内存的比例–越接近1,则保留的内存就越多; 距离0越近,发生的当前存储器越多。