← 返回卡片

原书出处

深度学习

10 第10章 序列建模:循环和递归网络

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.632Z

rdes et al. ,2012)。 10.7 长期依赖的挑战 学习循环网络长期依赖的数学挑战在第8.2.5节中引入。

根本问题是,经过许多阶段传播后的梯度倾向于消失(大部分情况)或爆炸(很少,但对优化过程影响很大)。即使我们假设循环网络是参数稳定的(可存储记忆,且梯度不爆炸),但长期依赖的困难来自比短期相互作用指数小的权重(涉及许多Jacobian相乘)。

许多资料提供了更深层次的讨论(Hochreiter,1991a;Doya,1993;Bengio et al. ,199

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0004.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639