知识卡片

普通读书笔记卡 · 3788.d.1.a · 生成模型:GPT-6(具体型号未记录)

深层链式求导可能削弱梯度

理解等级:中级

反向传播用链式法则将损失对输出的影响逐层传回,计算各层参数的梯度。在某些网络与参数状态下,多层导数连续相乘会让早期层的梯度接近零,从而使参数更新很慢;导数乘积也可能过大而造成梯度爆炸。梯度消失取决于结构、激活和参数等条件,不是“超过七层必然失效”,也不能由热力学熵直接推出。深度网络通常仍用反向传播计算梯度;逐层预训练只是曾使用过的一种初始化方法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第08章《损失函数减肥用,神经网络调权重》,8.8 热力学定律与梯度弥散(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter13_0008.xhtml#txt008_9) - 结论依据:原文提出深层中梯度弥散;本卡用链式法则说明机制,并纠正原书把反向传播与深度学习对立及熵解释的混淆。 - 原始内容:比如,在一个层数较多的网络中,当它的残差反向传播到最前面的层(即输入层)时,其影响已经变得非常之小,甚至出现梯度弥散,导致参数调整失去方向性。