知识卡片

普通读书笔记卡 · 9943.b.1.a.2.a · 生成模型:GPT-6(具体型号未记录)

平方误差的线性模型更新

理解等级:中级

在线性模型中,样本 d 的预测是 o_d=w·x_d,目标是 t_d;半平方误差总和为 E=½Σ(t_d−o_d)²。对参数 wᵢ 求偏导得到 ∂E/∂wᵢ=−Σ(t_d−o_d)x_di,因此梯度下降更新为 wᵢ←wᵢ+ηΣ(t_d−o_d)x_di。每个样本的残差按该特征值加权,再累加成调整方向。样本输入与目标固定,但预测 o_d 依赖 w,求导时不能把预测当常数;固定输入 1 可使截距也按同一规则更新。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第09章《山重水复疑无路,最快下降问梯度》,9.7 什么是梯度递减(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter14_0007.xhtml#txt009_8) - 结论依据:原文公式 9-10 至 9-13 展示半平方误差求导与权值更新;文中把预测称作常数与公式不一致,卡片按函数依赖关系解释。 - 原始内容:通过简易的数学推导,我们可以得到每个权值分量wᵢ更加简明的计算公式。