← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9905.e · 生成模型:Hunyuan

残差单元缓解梯度消失

理解等级:高级

残差单元在两层ReLU全连接之外,额外提供一条把输入直接加到输出上的短路通路,于是那两层网络拟合的只是输出与输入之间的残差。这一设计解决两个老问题:网络加深后容易过拟合,短路让信号可绕开部分层,降低过拟合;网络很深时梯度逐层衰减甚至消失,短路把梯度几乎原样传回前层,配合ReLU替代sigmoid显著加快收敛。它最早在图像领域的深层残差网络中大放异彩,Deep Crossing把它首次推广到推荐模型,用更深MLP换取更强表达力而不至于难训练。可迁移的启发是:当加深网络遇到瓶颈时,改善梯度通路往往比单纯堆层数更有效。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第3章 浪潮之巅——深度学习在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0007_split_003.html) - 结论依据:原文介绍残差单元的两条特性,并说明其诞生是为解决网络加深带来的过拟合与梯度消失问题。 - 原始内容:为了解决这个问题,残差单元使用了 ReLU 激活函数取代原来的sigmoid 激活函数。此外,输入向量短路相当于直接把梯度毫无变化地传递到下一层,这也使残差网络的收敛速度更快。