← 返回卡片

原书出处

深度学习详解

05 循环神经网络 5.7 梯度消失与爆炸

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.558Z

遗忘门可能会把记忆元里的值“清洗”掉. 其实,LSTM网络的第一个版本就是为了解决梯度消失的问题,因而没有遗忘门,遗忘门是后来才加进去的. 甚至有人认为,在训练LSTM网络的时候,要给遗忘门特别大的偏置,以确保遗忘门在大多数情况下是开启的,而只有在少数情况下是关闭的.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc