知识卡片

普通读书笔记卡 · 5605.b

反向传播求梯度再更新权重

理解等级:中级

训练先前向计算输出,用与目标相关的损失评价误差,再按链式法则反向求各参数梯度。优化器根据这些梯度更新参数,反向传播本身不是选定更新规则。

梯度下降沿负梯度作小步调整,步长、初值与损失形状影响结果,不保证落到全局最深谷底。损失也不应一般写成有符号目标减输出后直接最小化。深度学习教材优化章,2026-10-25,仅核验局部更新性质。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 14.2 机器学习 · 查看原书依据

      我们可以计算出一个误差函数,即从期望输出中减去实际输出。然后调整权重,使误差函数值尽可能接近0。 这通常是用一种叫作梯度下降的算法来完成的,如果你不喜欢数学,梯度下降对你来说就像但丁堕入地狱。让我们用一个简单的例子来处理它。记住“梯度”只是“斜率”的另一种表达

    参考来源

    - 位置:《计算机系统解密》14.2 机器学习(来源项目book-sources,源文件:extracted/计算机系统解密/_epub-src/text/part0141.html) - 结论依据:本项全部正文与图表实际读取,区分作者示例、推导与实现边界;纠错另有明确说明。 - 原始内容:我们可以计算出一个误差函数,即从期望输出中减去实际输出。然后调整权重,使误差函数值尽可能接近0。 这通常是用一种叫作梯度下降的算法来完成的,如果你不喜欢数学,梯度下降对你来说就像但丁堕入地狱。让我们用一个简单的例子来处理它。记住“梯度”只是“斜率”的另一种表达