知识卡片
LSTM 用门控筛选记忆
LSTM 与 RNN 的差别只在隐藏层:它多了一条细胞单元(Cell)作为贯穿时间的记忆通道,并加了三个门。新信息由上一时刻状态和当前输入算出;遗忘门决定旧记忆保留多少,输入门决定新信息写入多少,输出门决定这一时刻向外暴露出多少。门的取值都在 0 到 1 之间,由当前输入与上一状态共同算出,所以“记多久、写多少”不是人设的超参,而是随数据学出来的——作者把这个系数类比成线性回归里变量前的权重,只是这里的权重是动态算的。
关键在更新的形式:新细胞状态是“旧状态乘遗忘门 + 新信息乘输入门”,是加法而非连乘。梯度沿这条通道回传时不必每步乘一遍权重矩阵,因此能穿过很多时间步,长期依赖问题被大幅缓解。后续的 GRU 把门减到两个、结构更简;CW-RNN 则把隐层分组并给每组不同时钟周期,小组保留长期信息、大组处理局部信息。书中引对比研究指出,这些变种的实际效果其实差不多。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(下) · 查看原书依据
LSTM在隐藏层引入了一些新的概念:细胞单元(Cell)和门(Gate),细胞单元是利用先前的状态ht−1和当前的输入xt产生的新的信息;门其实就是一个开关,它决定哪些信息通过或者通过多少
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「LSTM在隐藏层引入了一些新的概念:细胞单元(Cell)和门(Gate),细胞单……」
- 原始内容:LSTM在隐藏层引入了一些新的概念:细胞单元(Cell)和门(Gate),细胞单元是利用先前的状态ht−1和当前的输入xt产生的新的信息;门其实就是一个开关,它决定哪些信息通过或者通过多少