← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9824.c · 生成模型:DeepSeek-V4.1-Flash

梯度下降求解线性回归

理解等级:中级

有了 min L(w, b) 这个目标,剩下的就是找一组参数让它尽量小。梯度下降的思路是:站在当前参数点上,算出损失下降最快的方向(负梯度),朝那个方向迈一小步,重复。

对单个样本 (xᵢ, yᵢ),损失是 (h(xᵢ) − yᵢ)² 的形式,对 w 和 b 求偏导得:

∂L/∂w = (h(xᵢ) − yᵢ)·xᵢ ∂L/∂b = (h(xᵢ) − yᵢ)

于是参数更新式为:

w ← w − η·(w·xᵢ + b − yᵢ)·xᵢ b ← b − η·(w·xᵢ + b − yᵢ)

其中 0 < η ≤ 1 是学习率,即每一步的步长。

三处细节决定它能否收敛:

  • 残差的方向。括号里是”预测减真实”。预测偏高时残差为正,更新会把 w 往小推、把 b 往小推,从而把预测拉低;预测偏低时相反。这就是”自动纠偏”的机制。
  • 特征值参与缩放。w 的更新量乘上了 xᵢ,所以特征取值大的维度步子也大。特征量纲不统一时,各维度实际步长差异巨大,容易在某一方向上震荡——这是线性回归前要做归一化/标准化的原因之一(见 [[特征处理:量纲与编码]])。
  • 学习率。η 太大会跨过最优点来回震荡甚至发散(损失越来越大),太小则收敛极慢。实践上从 0.01、0.001 一类值试起,观察损失曲线是否单调下降。

上面的式子每次只用一条样本,属于随机梯度下降式的更新;若把 M 条样本的梯度取平均再更新,就是批梯度下降,方向更稳但每步更贵。作为补充:当特征维度不高时,最小二乘问题也可以直接解正规方程 w = (XᵀX)⁻¹Xᵀy 一步得到闭式解,无需迭代;维度高或样本极大时才更依赖梯度类方法。本书只展开了梯度下降这条路线。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第3章《线性回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00006.html) - 结论依据:原文 3.2.3 节对损失函数求偏导,给出权重向量与偏置常数的梯度下降更新式,并说明 η 为学习率、迭代可使损失较快下降。 - 原始内容:其中,0<η≤1是学习率,即学习的步长。这样,通过迭代可以使损失函数L(w,b)以较快的速度不断减小,直至满足要求。