知识卡片
高精确度也会误导
精确度(accuracy)的盲区:它把所有类别的错误同等加权。类别极不平衡时,只要把所有人都判为多数类,就能得到很高分数,却完全没有识别能力。
书中案例:100 位客户中 11 人签约、89 人不签约。朴素贝叶斯判对了 3 个签约者和 87 个不签约者,精确度 90%。但 11 个真正会签约的客户里漏掉 8 个,TPR 只有 0.27。若业务目标是找出潜在客户,这个模型几乎没用;90% 这个数字只是因为多数类占了 89%。
正确读法: - 先看类别比例,再判断精确度的基准线; - 分别报告 TPR 与 FPR,而不是一个总分; - 关心少数类时看召回率与准确率,关心误报成本时看 FPR。
改进方向:增加能区分少数类的属性、调整判定阈值、对少数类过采样或加权。诊断指标只是照妖镜,模型好坏仍要回到业务目标。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 高级分析理论与方法:分类 · 查看原书依据
在11个签约了凭证式存款的客户中,该模型预测3个客户签约而8个客户不签约。与之类似,89个不签约的客户中,模型预测2个客户签约,87个客户个不签约。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_003.html)
- 结论依据:7.3 节表 7.7 的银行案例:11 个签约客户只判对 3 个,89 个不签约者判对 87 个,并据此指出仅看精确度不足以判断模型。
- 原始内容:在11个签约了凭证式存款的客户中,该模型预测3个客户签约而8个客户不签约。与之类似,89个不签约的客户中,模型预测2个客户签约,87个客户个不签约。