知识卡片
输出层与隐含层的梯度反传
反向传播的核心是给每层算出用于更新权值的梯度。输出层误差的计算分成两项:一项来自误差对输出的依赖(期望输出与实际输出之差),另一项来自激活函数的导数;两项相乘得到输出层梯度 δo,再据此求用于更新输出层权值的微分。隐含层同理,但它的误差来自输出层梯度的反向传递,需要把输出层梯度按连接权重往回投影,再乘上本层激活函数的导数,得到隐含层梯度。最后用各层的梯度与微分修正连接权值,更新时乘以学习率 η。要点:链式法则让多层误差可以逐层回传,隐层不必直接知道最终标签,只靠上游传来的梯度就能更新——这正是多层网络可训练的原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 神经网络初步 · 查看原书依据
(1)输出层误差:计算误差反向传播的输出层的梯度和微分,用于更新输出层权值。 输出层的微分可以写成如下形式:
参考来源
- 位置:《机器学习算法原理与编程实践》第6章 神经网络初步(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00022.html)
- 结论依据:原文给出输出层与隐含层误差的梯度、微分推导,并给出按梯度与微分修正各层权值的更新式,支撑“链式法则逐层回传”的解释。
- 原始内容:(1)输出层误差:计算误差反向传播的输出层的梯度和微分,用于更新输出层权值。 输出层的微分可以写成如下形式: