知识卡片
梯度消失拖慢早期层
层间反传要连乘权重和激活导数。Sigmoid导数至多四分之一,且在饱和区更小;若多层总体都收缩,越早的层得到的梯度越弱。放大初始化也可能把激活推向饱和,不能只靠增大权重解决。
输出层因子抵消之后,隐藏层仍需逐层传播梯度。参见 [[交叉熵简化输出梯度]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 反向传播神经网络 梯度在逐层连乘中衰减 · 查看原书依据
于0。这种现象称为梯度消失,即误差项在反向传播的过程中对各层参数产生的影响会逐级衰减。梯度消失广泛发生在神经网络的反向传播过程中。
参考来源
- 位置:《机器学习基础》第13章,13.4 梯度消失(book-source:extracted/机器学习基础/_epub-src/EPUB/xhtml/chapter87.xhtml)
- 结论依据:原文借「误差项在反向传播的过程中对各层参数产生的影响会逐级衰减」处的论述给出本卡所解释的关系或做法。
- 原始内容:于0。这种现象称为梯度消失,即误差项在反向传播的过程中对各层参数产生的影响会逐级衰减。梯度消失广泛发生在神经网络的反向传播过程中。