← 返回刚才阅读的位置

知识卡片

问题卡 · 9451.i · 生成模型:Tencent Hunyuan Hy

梯度消失问题及对策

理解等级:高级

梯度下降虽能靠放大误差或找局部最小值缓解维数灾难,却带来“梯度消失”。

梯度代表斜率:梯度越大坡越陡,模型越快下滑到终点;坡太平坦就无法快速训练。对网络中第一层影响尤其大——若第一层梯度为 0,模型就失去调整方向,无法更新权重使损失最小,这就是梯度消失。直观上,梯越来越小,训练时间越来越长,像光滑表面上一直滚动的小球。

后果:梯度无法在较长序列中传递,RNN 因而捕捉不到长距离影响;而且它很难检测、很难处理。

三种应对:①合理初始化权重,让神经元不取极大极小值,躲开梯度消失区域;②使用更合理的激活函数(书中未展开);③改用其他结构的 RNN,如目前最流行的长短时记忆网络 LSTM。

边界:这里针对深层/长序列网络;对策③引出下一节的 LSTM。迁移启发:训练长期不收敛时,先怀疑梯度是否传递不到浅层。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第12章《自然语言处理与循环神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00017.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文用“坡度—下滑”类比解释梯度消失,说明其使长距离影响无法捕捉,并列出三种对策,支撑结论。 - 原始内容:梯度消失会导致在训练模型时梯度不能在较长序列中传递下去,从而RNN无法捕捉到长距离的影响。因此我们也经常说梯度消失是一个麻烦又复杂的问题,因为它很难检测,且很难处理。总的来说,有三种方法可用来应对梯度消失问题: