知识卡片
LSTM门控更新记忆
LSTM 同时维护单元状态 cₜ 和隐藏状态 hₜ。遗忘门 fₜ 控制保留多少旧状态,输入门 iₜ 控制写入多少候选状态 gₜ:cₜ=fₜ⊙cₜ₋₁+iₜ⊙gₜ;输出门 oₜ 决定可见状态 hₜ=oₜ⊙tanh(cₜ)。门通常由当前输入与上一步隐藏状态经 sigmoid 计算,⊙ 表示逐元素乘法。加法路径让信息有机会跨越较长时间,但遗忘门等仍影响梯度,不能保证永不消失。候选状态通常由 tanh 计算,不是与 sigmoid 门完全相同的比例开关。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- LSTM长短记,长序依赖可追忆 15.5 LSTM的前向计算 · 查看原书依据
记忆的更新,可由两部分组成
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第15章《LSTM长短记,长序依赖可追忆》,15.5 LSTM的前向计算(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter20_0005.xhtml#txt015_11)
- 结论依据:原文图 15-6 至 15-11 与公式 15-2 至 15-7 给出各门及状态更新。
- 原始内容:记忆的更新,可由两部分组成