知识卡片
GAUC及其对AUC改进
AUC 计算基于全集样本排序,但真实线上排序发生在”一个用户的推荐会话”内,且用户间样本不可比(用户 A 点击的正样本排高于用户 B 未点击的负样本本无意义,却被 AUC 计入),导致线上线下不一致。GAUC(阿里妈妈提出)对此改进:以每个用户为群分别计算 AUC,再按曝光量加权平均(不同业务也可换其他维度为群)。它的意义是把排序评估限定在”同用户内”,更贴近线上。使用要点:当发现 AUC 涨但线上 CTR 没涨,应去看 GAUC——GAUC 更能反映真实增益;GAUC 是 AUC 的辅助指标而非替代。相关卡见 [[ROC曲线与AUC]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 为推荐系统选择评价指标 4.2 精排层应该选择什么评价指标 · 查看原书依据
9.GAUC AUC计算基于模型对全集样本的排序能力,而在真实的线上场景中,往往只考虑一个用户推荐会话下的排序关系,这就导致了线上与线下不一致的情况
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第4章《为推荐系统选择评价指标》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/42.html;src-025)
- 结论依据:原文指出 AUC 基于全集排序导致与线上单用户会话排序不一致,介绍 GAUC 按用户分组 AUC 再加权,并建议 AUC 涨而 CTR 不涨时看 GAUC,支撑本卡。
- 原始内容:9.GAUC AUC计算基于模型对全集样本的排序能力,而在真实的线上场景中,往往只考虑一个用户推荐会话下的排序关系,这就导致了线上与线下不一致的情况