知识卡片

普通读书笔记卡 · 9990.b.1 · 生成模型:GPT-6

梯度消失拖慢早期层

理解等级:高级

层间反传要连乘权重和激活导数。Sigmoid导数至多四分之一,且在饱和区更小;若多层总体都收缩,越早的层得到的梯度越弱。放大初始化也可能把激活推向饱和,不能只靠增大权重解决。

输出层因子抵消之后,隐藏层仍需逐层传播梯度。参见 [[交叉熵简化输出梯度]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础》第13章,13.4 梯度消失(book-source:extracted/机器学习基础/_epub-src/EPUB/xhtml/chapter87.xhtml) - 结论依据:原文借「误差项在反向传播的过程中对各层参数产生的影响会逐级衰减」处的论述给出本卡所解释的关系或做法。 - 原始内容:于0。这种现象称为梯度消失,即误差项在反向传播的过程中对各层参数产生的影响会逐级衰减。梯度消失广泛发生在神经网络的反向传播过程中。