知识卡片

普通读书笔记卡 · 7265.a · 生成模型:WorkBuddy (Claude)

COPC分箱诊断精排极限

理解等级:高级

精排优化到后期,AUC 的千分位提升就能换来一两个点的 CTR,甚至会出现”AUC 不动但 CTR 上升”,此时 AUC 已经失效,需要改用 COPC 指标判断模型是否逼近当前数据分布的极限。

COPC 的核心用法是”分箱观察”:把精排分数分成若干区间,统计每个区间的真实 CTR,并按特征(如类目 A/B)拆分对比,能读出四种状态: 1. 分数单调增、CTR 不单调增——线上/线下分布不一致(特征错乱、穿越或没拟合好); 2. 分数与 CTR 都增但很慢——缺特征(尤其活跃用户特征被放大); 3. 分数与 CTR 都增,但分组间 CTR 比值差异过大——对该特征建模不足,需加定向特征; 4. 分数与 CTR 都增且各组比值平稳——模型已趋于完善,精力该转到别的层。

评价依据:分箱观察不只是”看指标”,而是用”分数—CTR 的斜率与分组差异”反推模型到底卡在分布不一致、缺特征还是已到极限,从而决定下一步该修特征、加特征还是换战场。相关卡见 [[精排采样校正公式]]、[[重排层的两类需求]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第10章《精排数据分析》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/125.html;src-059) - 结论依据:原文提出AUC失效后用COPC分箱观察,并把分箱结果按分数与CTR的单调性、分组比值归纳为四种诊断状态,据此判断模型是否已到数据分布极限。 - 原始内容:有的读者可能想到了AUC,但是到精排模型优化的后期,AUC千分位的提升可以带来一两个点的点击率提升,甚至可能发生AUC不动但点击率上升的情况