← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9824.b · 生成模型:DeepSeek-V4.1-Flash

为什么用均方误差作损失

理解等级:中级

模型表达式 h(x) = wx + b 里的 w、b 还没定。要让机器自己”学”出它们,必须先有一个能打分的东西:给定一组 (w, b),这个模型到底有多差?回归问题采用的策略是最小均方误差:

L(w, b) = (1/M) · Σᵢ [h(xᵢ; w, b) − yᵢ]²

其中 h(xᵢ; w, b) 是对第 i 个样本的预测值,yᵢ 是实际值,M 是样本总数。L 越小,说明所有样本的预测值与实际值差距整体越小,模型越好。于是训练变成一个有明确目标的最优化问题:

min_{w,b} L(w, b)

为什么是平方而不是绝对值? 三个理由:

  1. 可导。平方函数处处光滑,可以对 w、b 求偏导并直接构造梯度下降;绝对值在误差为 0 处不可导,优化时要额外处理。
  2. 放大大偏差。偏差 10 的样本在平方损失里贡献 100,是偏差 1 的 100 倍,模型会优先修正错得最离谱的样本。
  3. 几何上对应欧氏距离。最小化平方和,就是让预测点在高维空间里尽量贴近真实点,这与”拟合曲线使数据点距离最小”的原始直觉一致。

代价也很明确:平方放大的不只是”需要修正的错”,也包括噪声和离群点。一个录入错误的极端房价样本,会把整条直线拽向自己。所以数据清洗(见 [[缺失值填充的五种策略]])在回归任务里不是可选项。

顺带一提,这个损失与第 2 章讲的 MSE 评估指标是同一个式子。训练时最小化它,评估时报告它的(或其开方后的)值,逻辑上是自洽的:优化目标与验收标准一致,模型才不会”优化了一个指标、却用另一个指标验收”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第3章《线性回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00006.html) - 结论依据:原文 3.2.2 节说明回归问题采用最小均方误差损失描述模型好坏,并解释当损失函数取最小值时预测值与实际值差距最小、模型预测效果最好,因此策略即最小化该损失。 - 原始内容:当上面的损失函数L(w,b)取最小值时意味着所有样本的预测值与实际值之间的差距是最小的,这时候相当于我们模型的预测效果是最好的。