知识卡片
损失与优化器各管一段
以前每换一个模型都要重写损失和梯度。这里拆成两件事:Loss 只负责两件事——给定预测和目标算出标量损失,以及算出“损失对预测的梯度”;Optimizer 只负责拿到某一层的 params 与 grads 后更新参数。分工的关键在接口位置:损失对预测求梯度、不直接对参数求梯度,所以同一个 SSE 能配任意网络,各层 backward 自己把梯度接到参数上;同一个 GradientDescent 也能配任意损失,因为它只做 param -= lr * grad。于是“换损失”与“换优化器”是两个正交的选择,书中正是靠这个把异或、Fizz Buzz、MNIST 复用同一段训练代码。代价是多了一层间接,调试时要分清梯度是“对输出”还是“对参数”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 深度学习 · 查看原书依据
以前,我们为模型写唯一的损失函数和梯度函数。在这里,我们会尝试使用不同的损失函数,因此(通常)会引入一个新的 Loss 抽象表示,它封装损失计算过程和梯度计算过程
参考来源
- 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「以前,我们为模型写唯一的损失函数和梯度函数……」
- 原始内容:以前,我们为模型写唯一的损失函数和梯度函数。在这里,我们会尝试使用不同的损失函数,因此(通常)会引入一个新的 Loss 抽象表示,它封装损失计算过程和梯度计算过程