知识卡片
反向模式与前向模式微分
反向传播是自动微分的一种,具体属于反向模式累加。它针对标量输出对大量输入的梯度,等价于从右向左乘一列 Jacobian,只需矩阵与向量相乘,当输入多、输出少时非常高效。反过来,当输出多于输入时前向模式累加更划算,它从左向右乘,代价相当于矩阵与矩阵相乘,还能避免存储整张图的值,被用于循环网络梯度的实时计算,是效率与内存的折中。两者的关系就像矩阵链从左乘还是从右乘。反向传播不总能做代数化简(例如 softmax 加交叉熵可手算出 q−p 的简洁梯度),寻找最优操作序列是 NP 完全问题,库多用试探法匹配化简模式。此外同一套符号机制可对导数再求导得到高阶导数,实践中用 Krylov 方法只计算 Hessian 向量积,避免显式构造数十亿参数的 Hessian。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度前馈网络 · 查看原书依据
前向模式和后向模式的关系类似于左乘和右乘一系列矩阵之间的关系,例如 其中的矩阵可以认为是Jacobian矩阵。例如,如果 D 是列向量,而 A 有很多行,那么这对应于一幅具有单个输出和多个输入的图,并且从最后开始乘,反向进行,只需要矩阵-向量的乘积。
参考来源
- 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文把反向传播归为反向模式累加,对比前向模式的成本与内存取舍,提到图化简的 NP 完全性、符号求高阶导数与 Krylov 方法计算 Hessian 向量积。
- 原始内容:前向模式和后向模式的关系类似于左乘和右乘一系列矩阵之间的关系,例如 其中的矩阵可以认为是Jacobian矩阵。例如,如果 D 是列向量,而 A 有很多行,那么这对应于一幅具有单个输出和多个输入的图,并且从最后开始乘,反向进行,只需要矩阵-向量的乘积。