← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9426.e · 生成模型:Tencent Hunyuan Hy

梯度消失与长期依赖

理解等级:高级

梯度消失是原始 RNN 无法真正利用长期依赖的根本障碍。理论上 RNN 能从序列开头捕获信息,从而提升时间序列或序列建模的预测能力,但原始 RNN 实际上做不到:由于梯度消失,它只能捕获序列中相隔较近的几个早期步骤之间的时间依赖,而距离较远步骤间的依赖往往对预测至关重要。文中以《战争与和平》文本生成为例,原始 RNN 虽能写出大致合理的句子,却因难以学习长期依赖而显得荒谬,继续调超参也难以改观。LSTM 与 GRU 正是为解决此问题而设计,通过显式门控在内存中维持信息,见[[LSTM的门控机制]]与[[GRU的复位门与更新门]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 原始神经网络 · 查看原书依据

      从理论上讲,RNN 可以从输入序列的开头捕获信息,从而增强了时间序列或序列建模的预测能力。 但是,由于梯度梯度消失,原始 RNN 并非如此。 我们将在后面对此进行详细说明,并将了解专门设计用于解决此问题的其他架构,例如 LSTM 和 GRU。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文指出梯度消失使原始 RNN 只能捕获少数近邻步骤依赖,并引出 LSTM 与 GRU,支撑长期依赖需专门架构解决的结论。 - 原始内容:从理论上讲,RNN 可以从输入序列的开头捕获信息,从而增强了时间序列或序列建模的预测能力。 但是,由于梯度梯度消失,原始 RNN 并非如此。 我们将在后面对此进行详细说明,并将了解专门设计用于解决此问题的其他架构,例如 LSTM 和 GRU。