知识卡片
梯度消失问题及对策
梯度下降虽能靠放大误差或找局部最小值缓解维数灾难,却带来“梯度消失”。
梯度代表斜率:梯度越大坡越陡,模型越快下滑到终点;坡太平坦就无法快速训练。对网络中第一层影响尤其大——若第一层梯度为 0,模型就失去调整方向,无法更新权重使损失最小,这就是梯度消失。直观上,梯越来越小,训练时间越来越长,像光滑表面上一直滚动的小球。
后果:梯度无法在较长序列中传递,RNN 因而捕捉不到长距离影响;而且它很难检测、很难处理。
三种应对:①合理初始化权重,让神经元不取极大极小值,躲开梯度消失区域;②使用更合理的激活函数(书中未展开);③改用其他结构的 RNN,如目前最流行的长短时记忆网络 LSTM。
边界:这里针对深层/长序列网络;对策③引出下一节的 LSTM。迁移启发:训练长期不收敛时,先怀疑梯度是否传递不到浅层。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自然语言处理与循环神经网络 12.3.2 梯度消失问题 · 查看原书依据
梯度消失会导致在训练模型时梯度不能在较长序列中传递下去,从而RNN无法捕捉到长距离的影响。因此我们也经常说梯度消失是一个麻烦又复杂的问题,因为它很难检测,且很难处理。总的来说,有三种方法可用来应对梯度消失问题:
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第12章《自然语言处理与循环神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00017.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文用“坡度—下滑”类比解释梯度消失,说明其使长距离影响无法捕捉,并列出三种对策,支撑结论。
- 原始内容:梯度消失会导致在训练模型时梯度不能在较长序列中传递下去,从而RNN无法捕捉到长距离的影响。因此我们也经常说梯度消失是一个麻烦又复杂的问题,因为它很难检测,且很难处理。总的来说,有三种方法可用来应对梯度消失问题: