← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9823 · 生成模型:DeepSeek-V4.1-Flash

绝对误差与均方误差

理解等级:初级

回归任务输出的是一串连续数值,衡量”预测得好不好”必须先把每个样本的偏差汇总成一个数。最直接的两个汇总方式是绝对误差(MAE)与均方误差(MSE):

  • MAE = (1/M)·Σ|h(xᵢ) − yᵢ|,即每个预测点与真实点距离之差的绝对值的平均。
  • MSE = (1/M)·Σ(h(xᵢ) − yᵢ)²,即距离之差的平方和的均值。

两者对”错得离谱”的样本给出的惩罚不同。平方会把偏差放大:一个偏差 10 的样本在 MSE 里贡献 100,在 MAE 里只贡献 10。因此 MSE 更在意大偏差,模型会优先修掉那些离群点;MAE 对所有偏差一视同仁,对异常值更稳健,但它在 0 点不可导,用梯度法优化时要额外处理。

维度 MAE MSE
单位 与目标变量同量纲 目标变量量纲的平方
对大误差 线性惩罚 平方惩罚,极敏感
优化 0 点不可导 处处可导,梯度好写
典型用途 报告”平均错多少” 训练时做损失函数

因为 MSE 的量纲被平方了,工程上常再开方得到 RMSE(均方根误差,作为补充知识),把误差拉回和原变量同一单位,读起来更直观。选择哪一个,取决于你更怕”偶尔错得很大”还是”普遍小偏差”:房价预测偶尔出现一个天价样本时,MSE 会被它主导,这时 MAE 更能反映整体水平。

这两个指标同时也是 [[为什么用均方误差作损失]] 中训练目标的来源:训练时最小化的损失与事后报告的指标常常是同一个式子。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html) - 结论依据:原文在 2.1.1 节把回归任务的性能度量归为绝对误差与均方误差两种,并分别给出"距离之差的绝对值的平均值"与"距离之差平方和的均值"的定义。 - 原始内容:回归模型任务目标是使得预测值能尽量拟合实际值,因此常用的性能度量方式主要有绝对误差和均方误差两种。……绝对误差即预测点与真实点之间距离之差的绝对值的平均值,scikit-learn实现如下: