知识卡片
LSTM的门控机制
LSTM 在普通循环单元之上增加存储单元与三个信息门,以显式建模长期依赖。存储单元 c[t] 从序列开头保存上下文;遗忘门 f 按 f=sigmoid(U_f x[t]+W_f s[t-1]) 控制旧状态 c[t-1] 能向前传递多少;输入门 i 按同样形式决定当前输入通过多少;tanh 生成候选当前存储 c’;输出门 o 决定多少内部存储用作单元输出。核心更新是 c[t]=f.*c[t-1]+i.c’,其中 . 为逐元素乘法,f 与 i 的 sigmoid 把值压到 0–1,充当通过比例的开关;隐藏状态再更新为 s[t]=o.*c[t]。四组权重仍用 BPTT 训练。GRU 用更少的门达到相近效果,见[[GRU的复位门与更新门]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 LSTM RNN · 查看原书依据
在时间步t处的存储单元c[t]由c[t] = f .* c[t-1] + i .* c'更新,其中.*表示逐元素乘法。 值得注意的是,f和i中的 Sigmoid 函数将其输出转换为从0到1的范围,从而控制分别通过的先前存储器c[t - 1]和当前存储器输入c'的数据比例。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文给出 c[t]=f.*c[t-1]+i.*c' 及 sigmoid 的 0–1 开关作用,支撑 LSTM 用门控显式控制信息流的结论。
- 原始内容:在时间步t处的存储单元c[t]由c[t] = f .* c[t-1] + i .* c'更新,其中.*表示逐元素乘法。 值得注意的是,f和i中的 Sigmoid 函数将其输出转换为从0到1的范围,从而控制分别通过的先前存储器c[t - 1]和当前存储器输入c'的数据比例。