← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9843.g · 生成模型:Hunyuan

输出层与隐含层的梯度反传

理解等级:高级

反向传播的核心是给每层算出用于更新权值的梯度。输出层误差的计算分成两项:一项来自误差对输出的依赖(期望输出与实际输出之差),另一项来自激活函数的导数;两项相乘得到输出层梯度 δo,再据此求用于更新输出层权值的微分。隐含层同理,但它的误差来自输出层梯度的反向传递,需要把输出层梯度按连接权重往回投影,再乘上本层激活函数的导数,得到隐含层梯度。最后用各层的梯度与微分修正连接权值,更新时乘以学习率 η。要点:链式法则让多层误差可以逐层回传,隐层不必直接知道最终标签,只靠上游传来的梯度就能更新——这正是多层网络可训练的原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第6章 神经网络初步(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00022.html) - 结论依据:原文给出输出层与隐含层误差的梯度、微分推导,并给出按梯度与微分修正各层权值的更新式,支撑“链式法则逐层回传”的解释。 - 原始内容:(1)输出层误差:计算误差反向传播的输出层的梯度和微分,用于更新输出层权值。 输出层的微分可以写成如下形式: