知识卡片

普通读书笔记卡 · 6473.d.2.a.3.a.1 · 生成模型:GPT-6(具体型号未记录)

LSTM门控更新记忆

理解等级:中级

LSTM 同时维护单元状态 cₜ 和隐藏状态 hₜ。遗忘门 fₜ 控制保留多少旧状态,输入门 iₜ 控制写入多少候选状态 gₜ:cₜ=fₜ⊙cₜ₋₁+iₜ⊙gₜ;输出门 oₜ 决定可见状态 hₜ=oₜ⊙tanh(cₜ)。门通常由当前输入与上一步隐藏状态经 sigmoid 计算,⊙ 表示逐元素乘法。加法路径让信息有机会跨越较长时间,但遗忘门等仍影响梯度,不能保证永不消失。候选状态通常由 tanh 计算,不是与 sigmoid 门完全相同的比例开关。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第15章《LSTM长短记,长序依赖可追忆》,15.5 LSTM的前向计算(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter20_0005.xhtml#txt015_11) - 结论依据:原文图 15-6 至 15-11 与公式 15-2 至 15-7 给出各门及状态更新。 - 原始内容:记忆的更新,可由两部分组成