知识卡片
查准率与查全率的矛盾
查准率(precision,精度)回答”你挑出来的东西里有多少是我要的”:precision = TP / (TP + FP)。查全率(recall,召回率)回答”我要的东西你挑出来了多少”:recall = TP / (TP + FN)。两者分母不同,一个盯着误报(FP),一个盯着漏报(FN),所以天然互相牵制。
把分类阈值从高往低调,模型会把越来越多的样本判为正例:漏报减少、查全率上升,同时误报增加、查准率下降。以查全率为横轴、查准率为纵轴,就得到一条单调下降的 P-R 曲线。两个模型比较时,如果一条曲线被另一条完全包住,被包住的那个一定更差;曲线交叉时无法直接比较,只能看具体业务更在意哪一端。
F1 值用一个数概括这对矛盾,取两者的调和平均:
F1 = 2 · P · R / (P + R)
调和平均的特点是”短板效应”:只要 P 或 R 有一个接近 0,F1 就接近 0,因此它奖励两者都还不错的模型,而不是”一高一低”的极端配置。几何上,F1 对应 P-R 图上 recall = precision 那条直线与曲线的交点,也就是书中所说的”平衡点”。
指标的选择由业务代价决定,而不是由公式决定:
| 场景 | 更看重 | 理由 |
|---|---|---|
| 购物推荐 | 查准率 | 推错了用户会烦,宁可少推 |
| 犯罪检索、疾病筛查 | 查全率 | 漏掉一个代价极高,宁可多查 |
| 搜索引擎、综合评测 | F1 | 既要相关性又要覆盖 |
多分类时还有一个实现层面的坑:各类别的 P/R 需要先聚合。scikit-learn 的 average 参数中,macro 是各类别等权平均(类别不平衡时会被小类拖累),weighted 按类别样本数加权,micro 在多标签场景下会被大类主导。选错聚合方式,同一份预测能算出差别很大的分数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 机器学习工程实践 2.1.2 分类模型的评估指标 · 查看原书依据
精度指的是所有预测为正例的样本(TP+FP)中真正为正例的样本(TP)的比率。一般来说,就是你找出的这些信息中真正是我想要的有多少,又叫“查准率”,即