← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9814.h · 生成模型:DeepSeek-V4.1-Flash

DCG:位置折损如何进入增益

理解等级:中级

先只看相关性,把前 p 条的相关度相加,得到 CG(Cumulative Gain):CG_p = Σ(i=1..p) rel_i,rel_i 是第 i 位文档的相关度等级,例如 2 非常相关、1 相关、0 无关。CG 对位置不敏感:相关度序列 2、0、1 与 0、1、2 的 CG 都是 3,但前者把高相关文档排在更前面,明显更好。

DCG(Discounted Cumulative Gain)给位置加折损:第 i 位的价值取 1/log2(i+1),越靠后折损越重,于是 DCG_p = Σ rel_i / log2(i+1)。取对数是为了让折损随位置加深而不至于过快——位置 2 的折损系数是 1⁄1.585≈0.63,位置 6 已降到 1⁄2.807≈0.36。

另一种常用写法先放大相关度差距:DCG_p = Σ (2^rel_i − 1) / log2(i+1),高相关文档的收益被指数拉开,适合等级划分较细的标注。例:相关度 3、3、2、1、0、2 时 CG = 11,而 DCG = 3 + 1.9 + 1 + 0.43 + 0 + 0.71 ≈ 7.04,第 3 位的 2 只贡献 1,第 6 位的 2 只剩 0.71。绝对值仍不可跨查询比较,见[[NDCG为何要除以IDCG]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 搜索系统评价 · 查看原书依据

      假设检索的三个文档相关度依次是2、0、1和0、1、2,明显前者的排序更优,但是它们的CGp值相同,所以要引入位置信息进行度量,既要考虑文档的相关度等级,也要考虑文档所在的位置。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第6章 搜索系统评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0086.html) - 结论依据:原文用两组排列的 CG 相同这一反例,论证必须引入位置折损,DCG 的公式与取值都由这一动机推出。 - 原始内容:假设检索的三个文档相关度依次是2、0、1和0、1、2,明显前者的排序更优,但是它们的CGp值相同,所以要引入位置信息进行度量,既要考虑文档的相关度等级,也要考虑文档所在的位置。