原书出处
深度学习
06 第6章 深度前馈网络
(Williams and Zipser,1989)。这也避免了存储整个图的值和梯度的需要,是计算效率和内存使用的折中。
前向模式和后向模式的关系类似于左乘和右乘一系列矩阵之间的关系,例如 其中的矩阵可以认为是Jacobian矩阵。例如,如果 D 是列向量,而 A 有很多行,那么这对应于一幅具有单个输出和多个输入的图,并且从最后开始乘,反向进行,只需要矩阵-向量的乘积。
这对应着反向模式。相反,从左边开始乘将涉及一系列的矩阵-矩阵乘积,这使得总的计算变得更加昂贵。然而,如果 A 的行数小于
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0002.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639