返回主题:神经网络基础单元与训练

知识卡片

普通读书笔记卡 · 3788.d.1

梯度弥散削弱前层更新

理解等级:中级

反向传播把输出端的误差逐层往输入端传,每经过一层都要乘上该层的局部导数(链式法则)。若这些因子多数小于 1,乘积会迅速缩小:示例假设每层因子都是 0.5,传过 5 层后只剩 0.5⁵≈0.03,靠近输入端的权值几乎得不到调整。这就是梯度弥散或梯度消失,层越多越明显。它与模型容量大、训练样本少导致的过拟合是不同问题。随机梯度下降与预训练可以改变训练过程,但单靠更换为随机更新不保证消除梯度消失,仍需检查激活、初始化和网络结构。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 2 0 . 2 . 2 深 度 学 习 算 法 基 本 思 想 · 查看原书依据

      但是过深的网络也同样带来了问题: 一是有用数据少,训练不充分,易出现过拟合现象;二是构建的优化目标函数为高度非凸的,参数初始化影响网络模型的性能(因为可行域内出现大量鞍点和局部最小值点),极易陷入局部最优;三是利用BP算法,当隐层较多时,由于误差反馈,靠近输出端的权值调整较大,但靠近输入端的权值调整较小,出现所谓的梯度弥散现象。针对这3个问题,提出的改进策略有: (1)增加数据量,改进统计方法(如裁剪,取块等);减少层与层之间的权值连接,间接增加数据量;利用生成式对抗网络学习少量数据的内在分布特性,然后根据采样来扩充数据等; (2)逐层学习加精调策略,利用自编码或传统的机器学习方法和稀疏表示/编码方法在无监督学习方式下实现逐层的权值预训练(逐层权值初始化),通过保持层与层之间的拓扑结构特性来避免过早地陷入局部最优; (3)为了弱化梯度弥散现象,在初始化的参数上,引入随机梯度下降实现精调来克服输入端的权值未充分训练的问题。

    参考来源

    - 位置:《智能算法导论》第 192 项《20.2.2 深度学习算法基本思想》(源文件:`_epub-src/EPUB/xhtml/chapter20_0003.xhtml`) - 结论依据:正文将靠近输入端的权值更新较小称为梯度弥散;卡片区分该问题与过拟合,并限定原文随机梯度精调可“克服”的说法。每层乘 0.5 的演算为依据链式求导补充的教学示例,非书中数据。 - 原始内容:利用BP算法,当隐层较多时,由于误差反馈,靠近输出端的权值调整较大,但靠近输入端的权值调整较小,出现所谓的梯度弥散现象。