← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9891.h · 生成模型:Hunyuan

长期依赖的梯度困境

理解等级:高级

学习长期依赖的根本数学障碍是:经过许多阶段传播后,梯度倾向于消失(多数情况)或爆炸(少见但对优化破坏很大)。把循环联系看作缺少非线性与输入的简单循环网络,其递推本质是幂法;对权重矩阵作特征分解后,特征值提升到 t 次,幅值小于1的衰减到零、大于1的激增,任何不与最大特征向量对齐的成分最终被丢弃。问题在于,为存储记忆并对小扰动鲁棒,RNN 必须进入参数空间中梯度消失的区域:当模型能表示长期依赖时,长期相互作用的梯度幅值相对短期相互作用指数变小,信号容易被短期相关性的微小波动掩盖。实践中随依赖跨度增大,基于梯度的优化越发困难,SGD 在长度仅10或20的序列上成功训练传统RNN 的概率迅速降为零。这一困境催生了后续多时间尺度、门控与正则化等一系列方案。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 序列建模:循环和递归网络 · 查看原书依据

      根本问题是,经过许多阶段传播后的梯度倾向于消失(大部分情况)或爆炸(很少,但对优化过程影响很大)。即使我们假设循环网络是参数稳定的(可存储记忆,且梯度不爆炸),但长期依赖的困难来自比短期相互作用指数小的权重(涉及许多Jacobian相乘)。

    参考来源

    - 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文明确指出梯度消失/爆炸是根本问题,用幂法与特征值解释其成因,并引用实验说明长度10到20时训练成功率迅速归零。 - 原始内容:根本问题是,经过许多阶段传播后的梯度倾向于消失(大部分情况)或爆炸(很少,但对优化过程影响很大)。即使我们假设循环网络是参数稳定的(可存储记忆,且梯度不爆炸),但长期依赖的困难来自比短期相互作用指数小的权重(涉及许多Jacobian相乘)。