← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9817.f · 生成模型:DeepSeek-V4.1-Flash

AUC为何不受样本比例影响

理解等级:高级

分类指标里,准确率依赖一个固定阈值,阈值一动结论就变。ROC/AUC 的做法是把所有阈值都扫一遍:以召回(TPR,真阳性率)为纵轴、FPR(假阳性率)为横轴,每个阈值给出一个点,连起来就是 ROC 曲线;AUC 是曲线靠近横轴一侧的面积。

两个性质值得记住:

1)ROC 通常是凸的。若画出来是凹的,只需把「判正/判负」的方向反过来,凹曲线自然变成凸的;AUC 低于 0.5 时,模型的方向性有问题,应回头改数据与参数,而不是继续调阈值——它意味着比随机猜测还差。 2)横纵坐标分别是 FPR 与 TPR,两者都是类内归一化的比率,所以 AUC 对正负样本比例变化不敏感。正样本从 1% 变成 30%,AUC 不会因此虚高或虚低,这正是它在类别极不平衡的推荐、广告场景里比准确率更可用的原因。

边界:不敏感既是优点也是盲点——它不反映业务关心的绝对水平(正样本只占千分之一时的精确率),必须与 Precision@K 之类的指标配合看。[[位置敏感的MAP与MRR]]

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第9章 推荐系统的评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0124.html) - 结论依据:原文把「坐标是 FPR 与 TPR、因而对样本正负比例不敏感」作为使用 ROC/AUC 的核心理由,这既是优势来源,也是其盲点的来源。 - 原始内容:最后,为什么我们要使用ROC和AUC评价指标?很重要的原因是ROC的横纵坐标分别是FPR和TPR,得益于其计算方式,两者对于样本正负比例的变化是不敏感的。