知识卡片
反向传播的计算图与链式法则
计算图把计算表示为节点(变量)和有向边(操作),是精确描述反向传播的语言:若变量 y 由 x 经某操作得到,就画一条 x 到 y 的边。反向传播的数学核心是链式法则:复合函数 z=f(g(x)) 的梯度等于各层 Jacobian 矩阵与上游梯度的连乘,扩展到张量时只需把多维索引抽象成单一索引。从输出沿图向输入逐次乘上 Jacobian,就得到任意祖先变量的梯度;当多条路径都通向同一节点时,把各路径贡献的梯度相加。反向传播并不限于标量代价对参数的梯度,也能求 Jacobian 等任意导数。边界:这里用每个操作返回单一变量的约定简化描述,真实库支持多输出操作;关键是梯度计算量与图的边数成正比。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度前馈网络 · 查看原书依据
为了更精确地描述反向传播算法,使用更精确的计算图 (computational graph)语言是很有帮助的。 将计算形式化为图形的方法有很多。 这里,我们使用图中的每一个节点来表示一个变量。
参考来源
- 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文引入计算图与操作的概念,说明链式法则的 Jacobian 梯度乘积形式,并指出反向传播由一个个这样的乘积操作组成。
- 原始内容:为了更精确地描述反向传播算法,使用更精确的计算图 (computational graph)语言是很有帮助的。 将计算形式化为图形的方法有很多。 这里,我们使用图中的每一个节点来表示一个变量。