知识卡片
层把前向与反向打包
层是本章的基本抽象,接口只有四件事:forward 把输入变成输出;backward 接收“损失对本层输出的梯度”,返回“损失对本层输入的梯度”;params 给出可训练参数;grads 按同样顺序给出梯度。后两个默认返回空元组,所以激活层这类无参数层不必实现。这个契约的价值是训练循环只认 Layer,不必关心内部是点积还是别的运算。有一条必须遵守的纪律:forward 要把反向需要的中间量存到 self 上,Sigmoid 存输出、Linear 存输入,因为 backward 只拿得到上游梯度,拿不到原始输入。Sigmoid 的反向是 sig*(1-sig)*grad,正是第 18 章输出层 delta 里的两项,只是“乘以上游梯度”交给了调用者。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 深度学习 · 查看原书依据
本章将构建用于实现各种神经网络的机制。最基本的抽象是层,它知道如何将某些函数应用于其输入,并且知道如何反向传播梯度。
参考来源
- 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「本章将构建用于实现各种神经网络的机制……」
- 原始内容:本章将构建用于实现各种神经网络的机制。最基本的抽象是层,它知道如何将某些函数应用于其输入,并且知道如何反向传播梯度。