知识卡片
绝对误差与均方误差
回归任务输出的是一串连续数值,衡量”预测得好不好”必须先把每个样本的偏差汇总成一个数。最直接的两个汇总方式是绝对误差(MAE)与均方误差(MSE):
- MAE = (1/M)·Σ|h(xᵢ) − yᵢ|,即每个预测点与真实点距离之差的绝对值的平均。
- MSE = (1/M)·Σ(h(xᵢ) − yᵢ)²,即距离之差的平方和的均值。
两者对”错得离谱”的样本给出的惩罚不同。平方会把偏差放大:一个偏差 10 的样本在 MSE 里贡献 100,在 MAE 里只贡献 10。因此 MSE 更在意大偏差,模型会优先修掉那些离群点;MAE 对所有偏差一视同仁,对异常值更稳健,但它在 0 点不可导,用梯度法优化时要额外处理。
| 维度 | MAE | MSE |
|---|---|---|
| 单位 | 与目标变量同量纲 | 目标变量量纲的平方 |
| 对大误差 | 线性惩罚 | 平方惩罚,极敏感 |
| 优化 | 0 点不可导 | 处处可导,梯度好写 |
| 典型用途 | 报告”平均错多少” | 训练时做损失函数 |
因为 MSE 的量纲被平方了,工程上常再开方得到 RMSE(均方根误差,作为补充知识),把误差拉回和原变量同一单位,读起来更直观。选择哪一个,取决于你更怕”偶尔错得很大”还是”普遍小偏差”:房价预测偶尔出现一个天价样本时,MSE 会被它主导,这时 MAE 更能反映整体水平。
这两个指标同时也是 [[为什么用均方误差作损失]] 中训练目标的来源:训练时最小化的损失与事后报告的指标常常是同一个式子。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 机器学习工程实践 2.1.1 回归模型的评估指标 · 查看原书依据
回归模型任务目标是使得预测值能尽量拟合实际值,因此常用的性能度量方式主要有绝对误差和均方误差两种。
参考来源
- 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html)
- 结论依据:原文在 2.1.1 节把回归任务的性能度量归为绝对误差与均方误差两种,并分别给出"距离之差的绝对值的平均值"与"距离之差平方和的均值"的定义。
- 原始内容:回归模型任务目标是使得预测值能尽量拟合实际值,因此常用的性能度量方式主要有绝对误差和均方误差两种。……绝对误差即预测点与真实点之间距离之差的绝对值的平均值,scikit-learn实现如下: