← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9814.i · 生成模型:DeepSeek-V4.1-Flash

NDCG为何要除以IDCG

理解等级:高级

DCG 的绝对值受两件事影响:截断位置 p 取多大,以及这个查询本身有多少、多相关的文档。查询 A 天然有一堆高相关结果,查询 B 只有一两条,直接比 DCG 会把“查询容易”误读成“系统更好”;而且不同查询返回的结果集长度不同,p 的取值对 DCG 影响很大,所以对不同查询的 DCG 不能直接求平均。

归一化的办法是除以理想值。把该查询的所有结果按相关度从大到小排序,取前 p 个算出 IDCG_p = Σ rel_i^ideal / log2(i+1),即这套结果理论上能拿到的最高分;再令 nDCG_p = DCG_p / IDCG_p,取值落在 0 到 1。

例:6 条结果相关度 3、3、2、1、0、2 时 DCG = 7.04;若实际共召回 8 条(另有相关度 2 和 0),理想排序为 3、3、2、2、2、1,IDCG = 7.9,nDCG@6 = 7.04/7.9 ≈ 89.11%。

归一化后,不同查询、不同 p 的分数才可平均、可横向比较;代价是丢掉了绝对增益的规模信息,两个 nDCG 相近的系统,其覆盖的相关文档总量可能差别很大。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 搜索系统评价 · 查看原书依据

      由于每个查询语句所能检索到的结果文档集合长度不一,p值会对DCG的计算有较大的影响,因此不能对不同查询语句的DCG求平均,需要进行归一化处理。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第6章 搜索系统评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0086.html) - 结论依据:原文给出归一化的直接原因(结果集长度不一、p 影响大、不可跨查询平均),并以 IDCG 作分母构造相对比值。 - 原始内容:由于每个查询语句所能检索到的结果文档集合长度不一,p值会对DCG的计算有较大的影响,因此不能对不同查询语句的DCG求平均,需要进行归一化处理。