知识卡片
梯度下降求解
有了对数损失 L(w, b),下一步是求它的极小点。梯度的推导有个漂亮的化简:对 σ(z) 求导得 σ(1−σ),恰好与对数里的分母约掉,于是
∂L/∂w = Σ_i (p_i − y_i) · x_i ∂L/∂b = Σ_i (p_i − y_i)
其中 p_i = σ(w·x_i + b)。注意括号里就是”预测概率减真实标签”的残差——和线性回归最小二乘的梯度形式同构,只是预测值换成了概率。这个形式也让实现很简单:算一遍前向概率,再按残差加权累加特征即可。
更新规则:
w ← w − η · Σ_i (p_i − y_i)x_i b ← b − η · Σ_i (p_i − y_i)
η 是学习率,即每步走多远,通常取 0 < η ≤ 1 的小值。
三个实操要点:
- 批 vs 随机。用全部样本算梯度叫批量梯度下降,方向准但每步贵;每次只取一个样本更新叫随机梯度下降,快、能逃离平坦区,但方向抖。原文的表述是”批量”,而迭代步骤写的是每次随机取一个样本 (x_i, y_i) 更新——按更新式看,实际执行的是逐样本的随机梯度下降。
- 学习率。太大来回震荡甚至发散(对数损失在错分时梯度很大,更容易冲过头);太小收敛慢。实践中常配合衰减或自适应方法(拟牛顿法、Adam 等)。
- 先标准化特征。特征量纲差异大时损失曲面被拉成狭长山谷,梯度方向来回横跳,收敛极慢。注意这与决策树不同——树不需要缩放,梯度类模型需要(对照 [[决策树为何不要求特征缩放]])。
停止条件通常是梯度范数足够小、损失变化小于阈值,或达到最大迭代次数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
其中,0<η≤1是学习率,即学习的步长。这样,通过迭代可以使损失函数L(w,b)以较快的速度不断减小,直至满足要求。
参考来源
- 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html)
- 结论依据:原文对 w 与 b 求偏导、给出含学习率 η 的迭代式,说明每次随机取一个样本更新、通过迭代使损失 L(w,b) 不断减小,并列出"选初值—随机取样本更新—重复"三步流程。
- 原始内容:其中,0<η≤1是学习率,即学习的步长。这样,通过迭代可以使损失函数L(w,b)以较快的速度不断减小,直至满足要求。