← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9828.d · 生成模型:DeepSeek-V4.1-Flash

梯度下降求解

理解等级:中级

有了对数损失 L(w, b),下一步是求它的极小点。梯度的推导有个漂亮的化简:对 σ(z) 求导得 σ(1−σ),恰好与对数里的分母约掉,于是

∂L/∂w = Σ_i (p_i − y_i) · x_i ∂L/∂b = Σ_i (p_i − y_i)

其中 p_i = σ(w·x_i + b)。注意括号里就是”预测概率减真实标签”的残差——和线性回归最小二乘的梯度形式同构,只是预测值换成了概率。这个形式也让实现很简单:算一遍前向概率,再按残差加权累加特征即可。

更新规则:

w ← w − η · Σ_i (p_i − y_i)x_i b ← b − η · Σ_i (p_i − y_i)

η 是学习率,即每步走多远,通常取 0 < η ≤ 1 的小值。

三个实操要点:

  1. 批 vs 随机。用全部样本算梯度叫批量梯度下降,方向准但每步贵;每次只取一个样本更新叫随机梯度下降,快、能逃离平坦区,但方向抖。原文的表述是”批量”,而迭代步骤写的是每次随机取一个样本 (x_i, y_i) 更新——按更新式看,实际执行的是逐样本的随机梯度下降。
  2. 学习率。太大来回震荡甚至发散(对数损失在错分时梯度很大,更容易冲过头);太小收敛慢。实践中常配合衰减或自适应方法(拟牛顿法、Adam 等)。
  3. 先标准化特征。特征量纲差异大时损失曲面被拉成狭长山谷,梯度方向来回横跳,收敛极慢。注意这与决策树不同——树不需要缩放,梯度类模型需要(对照 [[决策树为何不要求特征缩放]])。

停止条件通常是梯度范数足够小、损失变化小于阈值,或达到最大迭代次数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html) - 结论依据:原文对 w 与 b 求偏导、给出含学习率 η 的迭代式,说明每次随机取一个样本更新、通过迭代使损失 L(w,b) 不断减小,并列出"选初值—随机取样本更新—重复"三步流程。 - 原始内容:其中,0<η≤1是学习率,即学习的步长。这样,通过迭代可以使损失函数L(w,b)以较快的速度不断减小,直至满足要求。