知识卡片

普通读书笔记卡 · 9828.c · 生成模型:DeepSeek-V4.1-Flash

为什么不用平方损失

理解等级:高级

线性回归用均方误差很自然,搬到 Logistic 回归却不行。理由不是”效果差一点”,而是优化问题本身变坏了。

把 σ(w·x+b) 代入平方损失:

L = ½ Σ_i ( σ(w·x_i + b) − y_i )²

σ 是非线性的 S 形函数,外面再套平方,得到的 L 关于 w 是非凸的——损失曲面有多个谷底。梯度下降从不同初值出发可能掉进不同的局部极小,结果不稳定,也无法保证找到全局最优。

换成对数损失([[极大似然导出对数损失]])就没有这个问题:它是任意阶可导的凸函数,只有一个谷底,任何初值都能收敛到同一个全局最优。这是 Logistic 回归”数学性质好”的实质含义,也是它在工程上可靠的原因。

还有第二个差异,体现在梯度上:

  • 对数损失对 w 的梯度是 Σ(p_i − y_i)x_i,误差越大梯度越大,错得离谱时修正也猛。
  • 平方损失多带一个 σ’(z) = p(1−p) 因子。当预测严重错误时 p 接近 0 或 1,σ’ 接近 0,梯度被压成接近零——错得越多,反而学得越慢。这就是饱和问题。

顺带把两个模型的定位分清:线性回归做回归、用均方误差;Logistic 回归做分类、用对数损失。名字里的”回归”是历史遗留(它回归的是对数几率),输出的是类别概率,不要被名字误导。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据

      (2)线性回归模型一般采用均方误差损失,而Logistic回归模型不能使用均方误差损失。如果采用均方误差损失,那么将Logistic回归模型的决策函数代入均方误差函数后,得到的损失函数是非凸的,而非凸函数的极值点不唯一,因此最终可能会得到一个局部极值点。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html) - 结论依据:原文在 7.6 节对比线性回归时明确"Logistic回归模型不能使用均方误差损失",理由是决策函数代入均方误差后损失函数非凸、极值点不唯一、可能停在局部极值;并指出其对数损失是凸函数。 - 原始内容:(2)线性回归模型一般采用均方误差损失,而Logistic回归模型不能使用均方误差损失。如果采用均方误差损失,那么将Logistic回归模型的决策函数代入均方误差函数后,得到的损失函数是非凸的,而非凸函数的极值点不唯一,因此最终可能会得到一个局部极值点。