知识卡片
LSTM门控记忆机制
门控RNN是撰写本书时实践中最有效的序列模型,它把渗漏单元的固定或参数化连接权重推广为每时间步都可能改变的连接权重。LSTM的核心贡献是引入带线性自环的状态单元(细胞),为梯度创造长时间持续流动的路径;关键扩展是让自环权重视上下文而定,由另一个隐藏单元门控,使累积时间尺度可随输入动态变化。细胞状态由遗忘门(sigmoid 输出0到1)控制保留多少旧状态,输入门控制新信息是否写入,输出门控制细胞输出是否对外可见,三者都以当前输入与隐藏状态为条件,使网络自行学会何时清除或保留记忆。GRU进一步用单个门同时控制遗忘与更新,更简洁,复位门则控制历史信息参与计算新状态的程度。实验表明遗忘门是最关键部件,给它加偏置1能让LSTM与最佳变体一样健壮。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 序列建模:循环和递归网络 · 查看原书依据
引入自循环的巧妙构思,以产生梯度长时间持续流动的路径是初始长短期记忆 (long short-term memory,LSTM)模型的核心贡献(Hochreiter and Schmidhuber,1997)。
参考来源
- 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:原文指出LSTM的自循环构思与上下文依赖的门控扩展,并说明遗忘门、输入门、输出门的作用及遗忘门的关键性。
- 原始内容:引入自循环的巧妙构思,以产生梯度长时间持续流动的路径是初始长短期记忆 (long short-term memory,LSTM)模型的核心贡献(Hochreiter and Schmidhuber,1997)。