知识卡片
梯度下降求解线性回归
有了 min L(w, b) 这个目标,剩下的就是找一组参数让它尽量小。梯度下降的思路是:站在当前参数点上,算出损失下降最快的方向(负梯度),朝那个方向迈一小步,重复。
对单个样本 (xᵢ, yᵢ),损失是 (h(xᵢ) − yᵢ)² 的形式,对 w 和 b 求偏导得:
∂L/∂w = (h(xᵢ) − yᵢ)·xᵢ ∂L/∂b = (h(xᵢ) − yᵢ)
于是参数更新式为:
w ← w − η·(w·xᵢ + b − yᵢ)·xᵢ b ← b − η·(w·xᵢ + b − yᵢ)
其中 0 < η ≤ 1 是学习率,即每一步的步长。
三处细节决定它能否收敛:
- 残差的方向。括号里是”预测减真实”。预测偏高时残差为正,更新会把 w 往小推、把 b 往小推,从而把预测拉低;预测偏低时相反。这就是”自动纠偏”的机制。
- 特征值参与缩放。w 的更新量乘上了 xᵢ,所以特征取值大的维度步子也大。特征量纲不统一时,各维度实际步长差异巨大,容易在某一方向上震荡——这是线性回归前要做归一化/标准化的原因之一(见 [[特征处理:量纲与编码]])。
- 学习率。η 太大会跨过最优点来回震荡甚至发散(损失越来越大),太小则收敛极慢。实践上从 0.01、0.001 一类值试起,观察损失曲线是否单调下降。
上面的式子每次只用一条样本,属于随机梯度下降式的更新;若把 M 条样本的梯度取平均再更新,就是批梯度下降,方向更稳但每步更贵。作为补充:当特征维度不高时,最小二乘问题也可以直接解正规方程 w = (XᵀX)⁻¹Xᵀy 一步得到闭式解,无需迭代;维度高或样本极大时才更依赖梯度类方法。本书只展开了梯度下降这条路线。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性回归 3.2.3 算法求解 · 查看原书依据
其中,0<η≤1是学习率,即学习的步长。这样,通过迭代可以使损失函数L(w,b)以较快的速度不断减小,直至满足要求。
参考来源
- 位置:《机器学习基础:从入门到求职》第3章《线性回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00006.html)
- 结论依据:原文 3.2.3 节对损失函数求偏导,给出权重向量与偏置常数的梯度下降更新式,并说明 η 为学习率、迭代可使损失较快下降。
- 原始内容:其中,0<η≤1是学习率,即学习的步长。这样,通过迭代可以使损失函数L(w,b)以较快的速度不断减小,直至满足要求。