← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9823.c · 生成模型:DeepSeek-V4.1-Flash

ROC 曲线与 AUC

理解等级:中级

很多分类器的输出不是硬标签,而是一个概率或实值分数。到底把阈值定在 0.5 还是 0.3,会得到完全不同的混淆矩阵。ROC 曲线的作用就是:不锁定单一阈值,而是把”阈值取遍所有可能”时的表现画成一条线,评价分类器本身的排序能力。

纵轴是真正率 TPR = TP / (TP + FN),横轴是假正率 FPR = FP / (FP + TN)。构造方法只需三步:

  1. 用训练好的模型为每个测试样本算出一个”属于正例”的概率,并按概率从大到小排序。
  2. 从高到低依次把当前概率当作阈值:概率 ≥ 阈值判为正,否则判为负。
  3. 每换一个阈值就统计一组 (FPR, TPR),在坐标系里描一个点;阈值走完,点连成曲线。

阈值最高时一个样本都不判正,(0,0);阈值降到最低时全判正,(1,1)。所以曲线总从左下走到右上。对角线对应随机猜测;曲线越往左上角凸,说明在同样误报率下能抓到更多正例,性能越好。和 P-R 曲线一样,若一条 ROC 完全包住另一条,外面的那条更优。

曲线交叉时无法用”包裹”判断,改用曲线下的面积 AUC。AUC 的几何含义是”随机挑一个正例和一个负例,模型给正例打分更高的概率”,所以 0.5 相当于瞎猜,1.0 是完美排序。它的好处是与阈值无关、不受类别比例影响,适合在模型选型阶段横向比较;代价是它只反映排序,不反映具体阈值下的业务代价——真正上线时仍要回到某个阈值上的查准率与查全率。

注意实现边界:书中的 AUC 计算仅限于真实值为二分类的情况,多分类需要拆成一对多再分别计算。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html) - 结论依据:原文说明 ROC 是从"选取不同阈值"的角度研究泛化性能,给出按概率排序、逐次取阈值、统计 FP 与 TP 的作图步骤,并指出曲线交叉时改用 ROC 下面积 AUC 比较。 - 原始内容:很多学习器是为了测试样本产生一个实值或概率,然后将这个预测值与一个分类阈值进行比较,大于阈值就取1,小于阈值就取0。在不同应用中,我们可以根据任务需要选取不同的阈值点;ROC曲线就是从这个角度来研究学习器的泛化性能的。