知识卡片
ROC曲线与AUC
ROC 曲线用 TPR(=召回率,正样本覆盖率)与 FPR(负样本被误判为正的比例)绘制:希望 TPR 越高越好、FPR 越低越好,所以曲线越陡峭(小阈值范围即达高 TPR 低 FPR)模型越强,线上 CTR/CVR 越高;若呈直角则近乎完美模型(应查是否数据穿越)。AUC 是 ROC 曲线下面积,量化”陡峭度”,取值 50%~100%:50% 等于随机猜测,95%~100% 理想但不存在。等价定义:随机取一正一负样本,模型给正样本打分高于负样本的概率。优点:衡量排序能力(适合排序业务)、对样本不均衡不敏感、无需手设阈值。缺点:线上线下样本不一致时可能线下涨线上跌;不给出误差的空间分布,只看正负排序、不关心正负各自内部排序,难衡量用户刻画能力。AUC 是精排最广为应用的指标,通常 AUC 涨线上也涨。相关卡见 [[F1-score与P-R曲线]]、[[GAUC及其对AUC改进]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 为推荐系统选择评价指标 4.2 精排层应该选择什么评价指标 · 查看原书依据
那么 TPR越高越好 , FPR越低越好 , 在图上的表现就是ROC曲线越陡峭越好 , 即阈值在很小的范围内就可以实现FPR低而TPR高的能力
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第4章《为推荐系统选择评价指标》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/42.html;src-025)
- 结论依据:原文定义 ROC 的 TPR/FPR 与"越陡越好"、AUC 为面积及等价概率定义,并列其优缺点与"精排最广泛应用",支撑本卡。
- 原始内容:那么 TPR越高越好 , FPR越低越好 , 在图上的表现就是ROC曲线越陡峭越好 , 即阈值在很小的范围内就可以实现FPR低而TPR高的能力