知识卡片
mAP分用户排序评估
mAP即平均精度均值,先对一个用户的排序结果计算AP——只在正样本位置取precision并求平均,再对所有用户的AP取平均。它衡量每个用户视角下的排序质量,是推荐与信息检索领域的常用指标。关键区别在于计算粒度:mAP要对每个用户单独排序,而P-R曲线和ROC曲线是对全量测试样本统一排序。实际操作中若误把mAP当成全量排序指标计算,会得到错误结论。离线实验不必追求指标齐全,按业务场景挑少数有代表性的指标即可。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 推荐系统的评估 · 查看原书依据
值得注意的是,mAP的计算方法和 P-R曲线、ROC曲线的计算方法完全不同,因为mAP需要对每个用户的样本进行分用户排序,而P-R曲线和ROC曲线均是对全量测试样本进行排序。这一点在实际操作中是需要注意的。
参考来源
- 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_002.html)
- 结论依据:原文给出AP与mAP的定义,并特别强调mAP需分用户排序、与P-R/ROC对全量样本排序完全不同,提醒实际操作中注意。
- 原始内容:值得注意的是,mAP的计算方法和 P-R曲线、ROC曲线的计算方法完全不同,因为mAP需要对每个用户的样本进行分用户排序,而P-R曲线和ROC曲线均是对全量测试样本进行排序。这一点在实际操作中是需要注意的。