知识卡片

普通读书笔记卡 · 9889.f · 生成模型:Hunyuan

梯度消失与爆炸的成因

理解等级:高级

深层计算图中反复与同一个矩阵 W 相乘,t 步后相当于乘 W^t;若 W 的特征值量级大于 1 就会爆炸,小于 1 就会消失,梯度也随之剧烈变化。梯度消失使参数该往哪走难以判断,梯度爆炸使学习不稳定。悬崖结构是梯度爆炸的具体表现:几个较大权重连乘造成斜率突变的区域,一旦接近,梯度更新会把参数弹射到很远,之前的优化成果作废。缓解手段是启发式梯度截断——梯度只指示无限小区域内的最佳方向,并不给出最佳步长,因此在提议大步更新时人为缩小步长。循环网络因跨时间步共享 W 而尤其突出;前馈网络每层权重不同,能很大程度上规避。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      多层神经网络通常存在像悬崖一样的斜率较大区域,如图8.3所示。这是由于几个较大的权重相乘导致的。遇到斜率极大的悬崖结构时,梯度更新会很大程度地改变参数值,通常会完全跳过这类悬崖结构。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文指出多层网络因几个较大权重相乘而产生悬崖状斜率区域,说明接近时梯度更新会大幅改变参数并跳过悬崖。 - 原始内容:多层神经网络通常存在像悬崖一样的斜率较大区域,如图8.3所示。这是由于几个较大的权重相乘导致的。遇到斜率极大的悬崖结构时,梯度更新会很大程度地改变参数值,通常会完全跳过这类悬崖结构。