知识卡片

普通读书笔记卡 · 9751.o · 生成模型:DeepSeek-V4.1-Flash

高精确度也会误导

理解等级:高级

精确度(accuracy)的盲区:它把所有类别的错误同等加权。类别极不平衡时,只要把所有人都判为多数类,就能得到很高分数,却完全没有识别能力。

书中案例:100 位客户中 11 人签约、89 人不签约。朴素贝叶斯判对了 3 个签约者和 87 个不签约者,精确度 90%。但 11 个真正会签约的客户里漏掉 8 个,TPR 只有 0.27。若业务目标是找出潜在客户,这个模型几乎没用;90% 这个数字只是因为多数类占了 89%。

正确读法: - 先看类别比例,再判断精确度的基准线; - 分别报告 TPR 与 FPR,而不是一个总分; - 关心少数类时看召回率与准确率,关心误报成本时看 FPR。

改进方向:增加能区分少数类的属性、调整判定阈值、对少数类过采样或加权。诊断指标只是照妖镜,模型好坏仍要回到业务目标。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_003.html) - 结论依据:7.3 节表 7.7 的银行案例:11 个签约客户只判对 3 个,89 个不签约者判对 87 个,并据此指出仅看精确度不足以判断模型。 - 原始内容:在11个签约了凭证式存款的客户中,该模型预测3个客户签约而8个客户不签约。与之类似,89个不签约的客户中,模型预测2个客户签约,87个客户个不签约。