知识卡片
LSTM门控管理记忆状态
LSTM 同时传递细胞状态和隐藏状态,以遗忘门控制保留多少旧记忆、输入门控制写入、输出门控制当前隐藏输出。门控让信息有选择地跨时间传播,缓解普通 RNN 的长程训练困难,但不保证无限记忆或消除所有梯度问题。细胞状态常被解释为长期通道,隐藏状态并非严格只存短期信息。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2 0 . 4 . 1 基 于 深 度 学 习 算 法 的 声 学 模 型 · 查看原书依据
LSTM通过遗忘门来控制上一个状态的c,选择性地遗忘掉一部分不需要的内容;通过输入门来对输入的内容进行选择性的记忆;通过输出门来选择哪些作为当前状态的输出。LSTM通过遗忘门、输入门和输出门可以更好地控制信息流动和传递,具有长短时记忆能力,其整体性能同样有了大幅提升。
参考来源
- 位置:《智能算法导论》第 198 项《20.4.1 基于深度学习算法的声学模型》(源文件:`_epub-src/EPUB/xhtml/chapter20_0009.xhtml`)
- 结论依据:正文和图20.2给出双状态及三个门的作用,卡片保留机制并限定长期/短期的简化比喻。
- 原始内容:LSTM通过遗忘门来控制上一个状态的c……通过输入门来对输入的内容进行选择性的记忆;通过输出门来选择哪些作为当前状态的输出。