知识卡片

结构图卡 · 9451.k · 生成模型:Tencent Hunyuan Hy

LSTM三门控制长期记忆

理解等级:高级

LSTM(长短时记忆网络)专为解决长期依赖而生,让“记住长期信息”成为网络默认行为,是当今最流行的 RNN,广泛用于语音识别、图片描述、NLP。

思路:RNN 隐藏层只有一个状态,对短期输入敏感;LSTM 增加记忆单元保留长期记忆,并在隐藏层间加“控制门”选择性记忆或遗忘。t 时刻输入有三个(当前输入、上一时刻输出、上一时刻单元状态),输出有两个(当前输出、当前单元状态)。

“门”由 Sigmoid 函数加点乘组成,输出在 [0,1]:0 完全丢弃,1 完全通过。三个门: - 遗忘门:以上一输出 h_{t-1} 与本输入 xt 为 Sigmoid 输入,决定上一单元状态 C{t-1} 保留多少。 - 输入门:配合 tanh 生成候选向量,决定当前输入有多少新信息写入单元。 - 输出门:先激活单元状态,决定多少作为当前输出、多少被过滤。

回到长句例子:填“你”只需第一小句,遗忘门降低“清爽/温暖”等形容词权值,输入门减少排比句名词对主语的干扰。

边界:门控靠数据学习,非人工硬编码。迁移启发:设计记忆系统时,“写入—保留—读出”三环节各自可控,就能兼顾长期与当前。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自然语言处理与循环神经网络 12.4.2 处理长序列能手——LSTM · 查看原书依据

      LSTM算法通过三个“门”来控制是丢弃还是增加信息,从而实现信息遗忘或记忆。“门”是一种控制信息选择性通过的结构,通常由一个“Sigmid函数”及一个“点乘”操作组成。Sigmoid函数的输出值在[0,1]区间,0代表完全丢弃,1代表完全通过。一个LSTM单元有三个这样的门,分别是遗忘门、输入门和输出门。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第12章《自然语言处理与循环神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00017.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文说明 LSTM 增加记忆单元与三个门,并逐门解释其控制对象,再用长句案例演示,支撑“三门控制实现可控长期记忆”的结论。 - 原始内容:LSTM算法通过三个“门”来控制是丢弃还是增加信息,从而实现信息遗忘或记忆。“门”是一种控制信息选择性通过的结构,通常由一个“Sigmid函数”及一个“点乘”操作组成。Sigmoid函数的输出值在[0,1]区间,0代表完全丢弃,1代表完全通过。一个LSTM单元有三个这样的门,分别是遗忘门、输入门和输出门。