知识卡片
反向传播的动态规划本质
反向传播常被误解为整套学习算法:其实它只负责计算梯度,学习交给随机梯度下降等算法用它来更新参数;它也不只适用于神经网络,原则上可求任何函数的导数。它之所以高效,是把梯度计算当作表填充的动态规划:每个节点存一个梯度值,按逆拓扑序填表,从而复用公共子表达式,避免朴素递归展开链式法则造成的指数级重复。成本上,前向图有 n 个节点时梯度计算至多 O(n²) 个操作,而实践中常见的链式结构图只需 O(n),远胜指数方法。机制上,每个操作自己实现 bprop(Jacobian 向量积),反向传播只负责按拓扑序调用并累加。权衡:为节省内存可以选择重算而非存储子表达式,这是运行时间与存储的折中。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度前馈网络 · 查看原书依据
反向传播算法被设计为减少公共子表达式的数量而不考虑存储的开销。具体来说,它大约对图中的每个节点执行一个Jacobian乘积。这可以从算法6.2中看出,反向传播算法访问了图中的节点u (j) 到节点u (i) 的每条边一次,以获得相关的偏导数 。
参考来源
- 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文澄清反向传播仅计算梯度,并说明它通过存储中间结果避免子表达式指数爆炸、以表填充的动态规划方式工作,成本为 O(n)。
- 原始内容:反向传播算法被设计为减少公共子表达式的数量而不考虑存储的开销。具体来说,它大约对图中的每个节点执行一个Jacobian乘积。这可以从算法6.2中看出,反向传播算法访问了图中的节点u (j) 到节点u (i) 的每条边一次,以获得相关的偏导数 。