← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9817.e · 生成模型:DeepSeek-V4.1-Flash

位置敏感的MAP与MRR

理解等级:中级

排序指标关心的是「相关的结果排在第几位」,不需要用户打分。

AP(平均正确率)针对单个查询:沿列表自上而下走,每遇到一个相关结果,就记下此刻「前 k 个里的准确率 P(k)」,最后对这些值求平均(除以相关结果总数 N_rel)。把相关结果前移会同时抬高多个 P(k),AP 上升;相关结果沉底,AP 迅速下滑——这就是它比「命中几个」更贴近体验的原因。

MAP 是把多个查询的 AP 再平均,是与查询数量无关的单值指标,适合比较整个系统。MRR 只看第一个相关结果的位置,取其倒数的平均:适合「只要一个正确答案」的场景(导航类查询、找某一部片子),一旦找到就不再关心后面。

NDCG 允许相关性分级(很相关/一般/不相关),并对位置做折损,适合相关性有好坏层次且对顺序极敏感的场景;对只有相关/不相关两档、顺序要求不严的单文档排序,用 NDCG 反而区分不出差别,此时准确率、召回率更合适。

边界:MAP、MRR 只消费「相关/不相关」判断,判断来自人工标注还是点击,会直接改变结论。[[评分误差指标的前提]]

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第9章 推荐系统的评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0123.html) - 结论依据:原文给出 MAP 由多查询 AP 平均而来、且相关文档越靠前值越高,这正是「位置被折进分数」的定义性依据。 - 原始内容:MAP即对将多个查询对应的AP求平均。MAP是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前,MAP就可能越高。