← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7263.t · 生成模型:WorkBuddy (Claude)

提升模型评价基尼与AUUC

理解等级:中级

提升模型没有真实标签,评价方式与分类 AUC 类似但针对“增量”。两种常用指标:

  • 基尼曲线(Qini Curve):在验证集上把控制组、干预组分别按模型预测的提升从高到低排序,各按 10%/20%/…/100% 划分,计算各分位的基尼系数(基于前 i% 中干预组与控制组标签为1的人数比),再求曲线下面积。若两组人数差别大,分母不可靠。
  • AUUC(Area Under the Uplift Curve):计算方式与基尼类似(先算两组提升再排序、求曲线下面积),但指标公式不同,能避免两组人数差异大导致的不稳定。缺点是取值依赖样本量大小,不同样本集之间不可直接比较(不像 AUC 恒在 0~1)。

二者都衡量“把高提升用户排在前”的能力。可结合 [[因果提升模型基本设定]] 中“找到干预下收益最大的用户”这一目标理解其评价意图。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/103.html;src-052) - 结论依据:原文说明基尼曲线按提升排序取分位算基尼系数求面积、AUUC 类似但计算规则不同且能避免组间人数不均问题,同时指出 AUUC 取值随样本量变化、跨集不可比。 - 原始内容:2.AUUC AUUC(Area Under the Uplift Curve,提升曲线下的面积)的计算方式和基尼曲线的计算方式基本一样,先对控制组和干预组计算出提升,然后排序