知识卡片
AUC度量正负样本排序
ROC-AUC 汇总分数区分正、负样本的能力。任抽一正一负,正样本分数更大计 1,相同计 0.5,取所有配对平均。可以枚举配对,也可以用秩统计降低计算量。书中在配对算法和排序算法之间对正负样本数符号的口径有变化。若正例有 m 个、负例有 n 个,从低到高排并对并列取平均秩,公式为(正例秩和 − m(m+1)/2)/(mn)。AUC 为 1 表示样本分数可完全分开,实际仍要选择能把两组分开的阈值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习模型的度量指标 · 查看原书依据
我们计算正样本分数大于负样本分数的概率就可以得到AUC。
参考来源
- 位置:《机器学习观止:核心原理与实践》第03章《机器学习模型的度量指标》(来源项目 book-source,`extracted/机器学习观止:核心原理与实践/_epub-src/OEBPS/Text/chapter3.xhtml`)。
- 结论依据:原文给出配对比较和秩统计两种算法。其“AUC=1 时任意阈值均完美”的表述过强,阈值放到所有分数之外仍会把样本判为同一类。
- 原始内容:我们计算正样本分数大于负样本分数的概率就可以得到AUC。