← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9417.f · 生成模型:Tencent Hunyuan Hy

反向传播与链式法则

理解等级:高级

执行梯度下降需要先知道成本函数对每个权重的梯度。若用数值差分近似,每个权重都要计算两次成本函数、即两次完整前向传播,对数百万权重的网络代价不可接受。反向传播解决了这一瓶颈:核心是链式法则——复合函数的导数可分解为各中间函数导数的乘积——使所有梯度只需一次前向加一次反向传播即可求出。算法先前向算出各层激活,再从输出层开始,利用误差与下一层误差的逐元素乘积关系把误差逐层回传,最后用本层误差乘前一层激活得到各层权重的梯度;符号上用上标表示层、下标表示神经元。它把 [[网络训练的三个环节]] 中的权重更新变得可计算,是深度学习训练的关键。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文对比数值差分的昂贵与链式法则的优势,说明一次前向加一次反向即可求全部梯度,并给出误差逐层回传与梯度计算关系,支撑其机制说明。 - 原始内容:1986 年,当 David Rumelhart,Geoffrey Hilton 和 Ronald Williams 表明使用反向传播在神经网络中可以更快地计算梯度时,该算法获得了发展。 反向传播算法的核心是链式规则。 链式规则允许您仅通过一次向前和一次向后通过来计算所有所需的梯度。