← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9836.h · 生成模型:DeepSeek-V4.1-Flash

缓解梯度消失的几种手段

理解等级:中级

梯度消失的根源是”连乘因子小于 1”,所以所有缓解手段都在做同一件事:让回传的梯度不要在层间被压扁。按介入位置可以分成三类。

1. 改训练流程:逐层预训练 + 微调(Hinton, 2006)

先无监督地一层一层训练:把上一层隐节点的输出作为本层输入,本层输出再作为下一层输入,这叫”预训练”;全部训完后,再用反向传播对整个网络做”微调”。直觉是先让每层找到一个合理的局部最优,再从这些局部最优出发找全局最优。原文评价是”有一定的好处,但是目前应用得不是很多”——因为它训练流程长,后来被更好的激活函数和初始化取代。

2. 改梯度:梯度剪切

设置一个阈值,更新时若梯度超过阈值就强制截断到该范围内。这是针对梯度爆炸的方案:它不改变梯度的方向,只限制步长,防止数值溢出把参数打飞。

3. 改激活:用不饱和函数

Sigmoid/Tanh 的导数上界分别是 0.25 和 1,天然会衰减;ReLU 在正区间的导数恒为 1,连乘多少层都不缩水。原文在发展史里明确把 2011 年 ReLU 的提出记为”能够有效地抑制梯度消失问题”的关键节点(见 [[常用激活函数的取舍]])。

4. 改初始化尺度

原文指出梯度爆炸出现在”权重初始化值太大”时,反过来说初始化的尺度必须与层宽匹配:太大则爆炸,太小则消失。这也是 2006 年”预训练即一种初始化”能奏效的原因。

边界:这四条是互补而非替代关系。原书的”解决方法”只展开了预训练与梯度剪切两项;批归一化、残差连接等后续手段不在本书讨论范围内,它们通过改变网络结构来控制每层输入的分布与梯度通路,思路与上面一致——不让梯度在长链上无条件连乘。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html) - 结论依据:原文在"梯度消失的解决方法"下列出预训练加微调与梯度剪切,并分别说明其思路与适用场景。 - 原始内容:其基本思想是每次训练一层隐节点,训练时将上一层隐节点的输出作为输入,而本层隐节点的输出作为下一层隐节点的输入,此过程就是逐层“预训练”(pre-training)。在预训练完成后,再对整个网络进行“微调”(fine-tunning)。