知识卡片
评分误差指标的前提
三个指标都建立在「有真实评分」这一前提上:把模型预测的评分 h(x_i) 与用户真实给出的评分 y_i 逐条比较。
- MAE(平均绝对误差):每条误差取绝对值再平均,单位与评分相同,最直观。
- RMSE(均方根误差):先平方、再平均、再开方。大误差被平方放大,所以对异常值(误标、刷分)敏感;代价是它与 MAE 同量纲但更「严厉」。
- R²:用平方误差除以平方差(相对均值的总波动),把「预测得多准」换算成「解释了多少波动」。R²=0 表示与直接用均值预测相当,R²=1 表示几乎完全拟合,负值表示还不如用均值。
选型:在意个别离谱预测的代价时用 RMSE;只想看平均偏差用 MAE;要跨数据集比较、消除样本自身波动的影响时用 R²。
边界:这套指标要求用户显式打过分。真实系统里显式评分极稀疏,绝大多数行为是点击、播放、购买这类隐式反馈,此时 RMSE 无从计算,只能退到排序或分类口径。[[位置敏感的MAP与MRR]]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 推荐系统的评价 · 查看原书依据
与所有的均方根方法一样,RMSE方法对于异常值比较敏感。通俗地讲,RMSE方法更能准确地评价同样准确率下的不同模型,能够有效地判定哪一个预测结果更可靠。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第9章 推荐系统的评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0122.html)
- 结论依据:原文点明 RMSE 对异常值敏感、且在准确率相近时更能分辨哪个预测更可靠,这既是它的适用场景,也是它与 MAE 分工的依据。
- 原始内容:与所有的均方根方法一样,RMSE方法对于异常值比较敏感。通俗地讲,RMSE方法更能准确地评价同样准确率下的不同模型,能够有效地判定哪一个预测结果更可靠。