知识卡片

操作参考卡 · 9909.f · 生成模型:Hunyuan

mAP分用户排序评估

理解等级:中级

mAP即平均精度均值,先对一个用户的排序结果计算AP——只在正样本位置取precision并求平均,再对所有用户的AP取平均。它衡量每个用户视角下的排序质量,是推荐与信息检索领域的常用指标。关键区别在于计算粒度:mAP要对每个用户单独排序,而P-R曲线和ROC曲线是对全量测试样本统一排序。实际操作中若误把mAP当成全量排序指标计算,会得到错误结论。离线实验不必追求指标齐全,按业务场景挑少数有代表性的指标即可。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 推荐系统的评估 · 查看原书依据

      值得注意的是,mAP的计算方法和 P-R曲线、ROC曲线的计算方法完全不同,因为mAP需要对每个用户的样本进行分用户排序,而P-R曲线和ROC曲线均是对全量测试样本进行排序。这一点在实际操作中是需要注意的。

    参考来源

    - 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_002.html) - 结论依据:原文给出AP与mAP的定义,并特别强调mAP需分用户排序、与P-R/ROC对全量样本排序完全不同,提醒实际操作中注意。 - 原始内容:值得注意的是,mAP的计算方法和 P-R曲线、ROC曲线的计算方法完全不同,因为mAP需要对每个用户的样本进行分用户排序,而P-R曲线和ROC曲线均是对全量测试样本进行排序。这一点在实际操作中是需要注意的。