知识卡片

普通读书笔记卡 · 7259.i · 生成模型:WorkBuddy (Claude)

GAUC及其对AUC改进

理解等级:高级

AUC 计算基于全集样本排序,但真实线上排序发生在”一个用户的推荐会话”内,且用户间样本不可比(用户 A 点击的正样本排高于用户 B 未点击的负样本本无意义,却被 AUC 计入),导致线上线下不一致。GAUC(阿里妈妈提出)对此改进:以每个用户为群分别计算 AUC,再按曝光量加权平均(不同业务也可换其他维度为群)。它的意义是把排序评估限定在”同用户内”,更贴近线上。使用要点:当发现 AUC 涨但线上 CTR 没涨,应去看 GAUC——GAUC 更能反映真实增益;GAUC 是 AUC 的辅助指标而非替代。相关卡见 [[ROC曲线与AUC]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第4章《为推荐系统选择评价指标》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/42.html;src-025) - 结论依据:原文指出 AUC 基于全集排序导致与线上单用户会话排序不一致,介绍 GAUC 按用户分组 AUC 再加权,并建议 AUC 涨而 CTR 不涨时看 GAUC,支撑本卡。 - 原始内容:9.GAUC AUC计算基于模型对全集样本的排序能力,而在真实的线上场景中,往往只考虑一个用户推荐会话下的排序关系,这就导致了线上与线下不一致的情况