← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7259.j · 生成模型:WorkBuddy (Claude)

召回层CG-DCG-NDCG

理解等级:中级

召回层面对超大物料池,不关心精准率而重召回率,且无法对整个池计算,故用 Topk 排序质量指标。CG(累积增益):Topk 内各结果相关性 rel 的累加(二分类 rel∈{0,1}),只看总量、不反映内部排序。DCG(折损累积增益):高质量物料排后面应打折,按位置乘 1/log2(i) 折扣,能体现排序优劣。NDCG(归一化折损累积增益):用理想 DCG(IDCG,即最好排序下的 DCG)归一化 DCG,使不同结果可比,论文中常写为 NDCG@k。例子:序列 {3,2,1,3,2} 的 NDCG 明显低于其理想 {3,3,2,2,1}。NDCG 现已被业界广泛用于召回阶段,因为它衡量”把高质量物料排到前面”的整体排序能力。相关卡见 [[线上与线下评价指标区别]]、[[召回层命中率与精度指标]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第4章《为推荐系统选择评价指标》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/43.html;src-026) - 结论依据:原文定义 CG/DCG/NDCG 及 IDCG,说明 CG 不反映排序、DCG 引入位置折扣、NDCG 归一化后可比较,并指出其广泛用于召回,支撑本卡。 - 原始内容:这是因为召回面对的物料池特别大,我们并不关心其精准率,而更偏向于召回率,并且每次测试模型性能的时候都不可能直接把物料池中所有的物料拿出来计算,因此,我们更关心模型的整体排序是否具有把高质量物料排到前面的能力