知识卡片
反向传播求梯度再更新权重
训练先前向计算输出,用与目标相关的损失评价误差,再按链式法则反向求各参数梯度。优化器根据这些梯度更新参数,反向传播本身不是选定更新规则。
梯度下降沿负梯度作小步调整,步长、初值与损失形状影响结果,不保证落到全局最深谷底。损失也不应一般写成有符号目标减输出后直接最小化。深度学习教材优化章,2026-10-25,仅核验局部更新性质。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 14.2 机器学习 · 查看原书依据
我们可以计算出一个误差函数,即从期望输出中减去实际输出。然后调整权重,使误差函数值尽可能接近0。 这通常是用一种叫作梯度下降的算法来完成的,如果你不喜欢数学,梯度下降对你来说就像但丁堕入地狱。让我们用一个简单的例子来处理它。记住“梯度”只是“斜率”的另一种表达
参考来源
- 位置:《计算机系统解密》14.2 机器学习(来源项目book-sources,源文件:extracted/计算机系统解密/_epub-src/text/part0141.html)
- 结论依据:本项全部正文与图表实际读取,区分作者示例、推导与实现边界;纠错另有明确说明。
- 原始内容:我们可以计算出一个误差函数,即从期望输出中减去实际输出。然后调整权重,使误差函数值尽可能接近0。 这通常是用一种叫作梯度下降的算法来完成的,如果你不喜欢数学,梯度下降对你来说就像但丁堕入地狱。让我们用一个简单的例子来处理它。记住“梯度”只是“斜率”的另一种表达