← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9814.f · 生成模型:DeepSeek-V4.1-Flash

只看前排的P@N与MRR

理解等级:中级

用户很少往后翻页,注意力集中在第一页或前两页;问答类查询更是只想直接拿到一个明确答案。这类场景用召回率评价并不合适,需要专门度量排序靠前部分。

P@N(Precision at Rank p)只在预先设定的截断位置统计准确率,最常用 p@10、p@20,即前 10 或前 20 条里相关文档的比例。它计算简单、贴近用户可感知范围,缺点是不区分截断内相关文档的先后,也完全不看截断之外。

MRR(Mean Reciprocal Rank)补上“第一个正确答案排第几”:对每个查询取首个相关文档排名的倒数 1/rank_i,再对 Q 个查询求平均,MRR = (1/Q) · Σ 1/rank_i。例:两次查询的首个相关文档分别排第 2 和第 5,MRR = (1⁄2)(1⁄2 + 1⁄5) = 0.35。

MRR 适合寻址类(找某个确定页面)和问答类检索,因为它只关心“最快命中一次”,完全不奖励后续的更多相关结果;要评价整条排序的累积价值需用[[DCG:位置折损如何进入增益]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 搜索系统评价 · 查看原书依据

      所以在计算准确率和召回率的时候不能按照所有的返回结果去统计,而是可以简单地在一些预定义的位置上计算准确率、召回率来评估此次搜索结果,这种评估方式被称作位置p的准确率(Precision at Rank p)。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第6章 搜索系统评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0086.html) - 结论依据:原文说明截断位置评价的动机(用户只看有限条数)与定义,卡片据此对比 P@N 与 MRR 对“位置”的不同处理。 - 原始内容:所以在计算准确率和召回率的时候不能按照所有的返回结果去统计,而是可以简单地在一些预定义的位置上计算准确率、召回率来评估此次搜索结果,这种评估方式被称作位置p的准确率(Precision at Rank p)。