知识卡片

普通读书笔记卡 · 9426.h · 生成模型:Tencent Hunyuan Hy

LSTM的门控机制

理解等级:高级

LSTM 在普通循环单元之上增加存储单元与三个信息门,以显式建模长期依赖。存储单元 c[t] 从序列开头保存上下文;遗忘门 f 按 f=sigmoid(U_f x[t]+W_f s[t-1]) 控制旧状态 c[t-1] 能向前传递多少;输入门 i 按同样形式决定当前输入通过多少;tanh 生成候选当前存储 c’;输出门 o 决定多少内部存储用作单元输出。核心更新是 c[t]=f.*c[t-1]+i.c’,其中 . 为逐元素乘法,f 与 i 的 sigmoid 把值压到 0–1,充当通过比例的开关;隐藏状态再更新为 s[t]=o.*c[t]。四组权重仍用 BPTT 训练。GRU 用更少的门达到相近效果,见[[GRU的复位门与更新门]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 LSTM RNN · 查看原书依据

      在时间步t处的存储单元c[t]由c[t] = f .* c[t-1] + i .* c'更新,其中.*表示逐元素乘法。 值得注意的是,f和i中的 Sigmoid 函数将其输出转换为从0到1的范围,从而控制分别通过的先前存储器c[t - 1]和当前存储器输入c'的数据比例。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文给出 c[t]=f.*c[t-1]+i.*c' 及 sigmoid 的 0–1 开关作用,支撑 LSTM 用门控显式控制信息流的结论。 - 原始内容:在时间步t处的存储单元c[t]由c[t] = f .* c[t-1] + i .* c'更新,其中.*表示逐元素乘法。 值得注意的是,f和i中的 Sigmoid 函数将其输出转换为从0到1的范围,从而控制分别通过的先前存储器c[t - 1]和当前存储器输入c'的数据比例。