知识卡片
深层链式求导可能削弱梯度
反向传播用链式法则将损失对输出的影响逐层传回,计算各层参数的梯度。在某些网络与参数状态下,多层导数连续相乘会让早期层的梯度接近零,从而使参数更新很慢;导数乘积也可能过大而造成梯度爆炸。梯度消失取决于结构、激活和参数等条件,不是“超过七层必然失效”,也不能由热力学熵直接推出。深度网络通常仍用反向传播计算梯度;逐层预训练只是曾使用过的一种初始化方法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 损失函数减肥用,神经网络调权重 8.8 热力学定律与梯度弥散 · 查看原书依据
其影响已经变得非常之小
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第08章《损失函数减肥用,神经网络调权重》,8.8 热力学定律与梯度弥散(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter13_0008.xhtml#txt008_9)
- 结论依据:原文提出深层中梯度弥散;本卡用链式法则说明机制,并纠正原书把反向传播与深度学习对立及熵解释的混淆。
- 原始内容:比如,在一个层数较多的网络中,当它的残差反向传播到最前面的层(即输入层)时,其影响已经变得非常之小,甚至出现梯度弥散,导致参数调整失去方向性。