知识卡片

普通读书笔记卡 · 9887.n · 生成模型:Hunyuan

反向传播的计算图与链式法则

理解等级:中级

计算图把计算表示为节点(变量)和有向边(操作),是精确描述反向传播的语言:若变量 y 由 x 经某操作得到,就画一条 x 到 y 的边。反向传播的数学核心是链式法则:复合函数 z=f(g(x)) 的梯度等于各层 Jacobian 矩阵与上游梯度的连乘,扩展到张量时只需把多维索引抽象成单一索引。从输出沿图向输入逐次乘上 Jacobian,就得到任意祖先变量的梯度;当多条路径都通向同一节点时,把各路径贡献的梯度相加。反向传播并不限于标量代价对参数的梯度,也能求 Jacobian 等任意导数。边界:这里用每个操作返回单一变量的约定简化描述,真实库支持多输出操作;关键是梯度计算量与图的边数成正比。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度前馈网络 · 查看原书依据

      为了更精确地描述反向传播算法,使用更精确的计算图 (computational graph)语言是很有帮助的。 将计算形式化为图形的方法有很多。 这里,我们使用图中的每一个节点来表示一个变量。

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文引入计算图与操作的概念,说明链式法则的 Jacobian 梯度乘积形式,并指出反向传播由一个个这样的乘积操作组成。 - 原始内容:为了更精确地描述反向传播算法,使用更精确的计算图 (computational graph)语言是很有帮助的。 将计算形式化为图形的方法有很多。 这里,我们使用图中的每一个节点来表示一个变量。