知识卡片
AUC为何不受样本比例影响
分类指标里,准确率依赖一个固定阈值,阈值一动结论就变。ROC/AUC 的做法是把所有阈值都扫一遍:以召回(TPR,真阳性率)为纵轴、FPR(假阳性率)为横轴,每个阈值给出一个点,连起来就是 ROC 曲线;AUC 是曲线靠近横轴一侧的面积。
两个性质值得记住:
1)ROC 通常是凸的。若画出来是凹的,只需把「判正/判负」的方向反过来,凹曲线自然变成凸的;AUC 低于 0.5 时,模型的方向性有问题,应回头改数据与参数,而不是继续调阈值——它意味着比随机猜测还差。 2)横纵坐标分别是 FPR 与 TPR,两者都是类内归一化的比率,所以 AUC 对正负样本比例变化不敏感。正样本从 1% 变成 30%,AUC 不会因此虚高或虚低,这正是它在类别极不平衡的推荐、广告场景里比准确率更可用的原因。
边界:不敏感既是优点也是盲点——它不反映业务关心的绝对水平(正样本只占千分之一时的精确率),必须与 Precision@K 之类的指标配合看。[[位置敏感的MAP与MRR]]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 推荐系统的评价 · 查看原书依据
最后,为什么我们要使用ROC和AUC评价指标?很重要的原因是ROC的横纵坐标分别是FPR和TPR,得益于其计算方式,两者对于样本正负比例的变化是不敏感的。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第9章 推荐系统的评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0124.html)
- 结论依据:原文把「坐标是 FPR 与 TPR、因而对样本正负比例不敏感」作为使用 ROC/AUC 的核心理由,这既是优势来源,也是其盲点的来源。
- 原始内容:最后,为什么我们要使用ROC和AUC评价指标?很重要的原因是ROC的横纵坐标分别是FPR和TPR,得益于其计算方式,两者对于样本正负比例的变化是不敏感的。