知识卡片
MAP用插值压成一条曲线
P@N、MRR 都是给单个查询打分,要比较算法优劣必须用一组查询测试,于是需要跨查询聚合,有两条路线。
第一条是 MAP(Mean Average Precision)。先在查询内算平均准确率:在每个相关文档被检出的位置上取当时的准确率,再对该查询的相关文档数求平均;最后对全部查询的 AP 再求平均。示例中两个查询的 AP 分别是 (1.0+1.0+0.67+0.75+0.6)/5 = 0.804 与 (0+0.5+0.33+0.5+0.4)/5 ≈ 0.35,MAP = (0.804+0.35)/2 ≈ 0.577。它同时用到相关性与位置,隐含“用户希望找到更多相关文档”的假设;局限是只保留各相关位置上的点,丢掉了文档集合的细节。
第二条是插值。不同查询的 P–R 曲线差异很大,不便比较,于是把每条曲线在 0 到 1、步长 0.1 的标准召回率等级上取值:某等级 r 处的准确率取该等级及以上各观测点中最大的 P,从而得到单调下降的曲线,再对各查询求平均。插值后的曲线由最相关的那批文档决定。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 搜索系统评价 · 查看原书依据
平均准确率(Mean Average Precision,MAP)是综合多个查询结果进行评价的最简单的方法,就是对多次查询结果求平均,这也意味着它假设每个用户都期望找到更多相关的文档。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第6章 搜索系统评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0086.html)
- 结论依据:原文点明 MAP 是跨查询求平均,并交代其“希望找到更多相关文档”的隐含假设,这也是它偏重召回一侧的原因。
- 原始内容:平均准确率(Mean Average Precision,MAP)是综合多个查询结果进行评价的最简单的方法,就是对多次查询结果求平均,这也意味着它假设每个用户都期望找到更多相关的文档。