知识卡片

问题卡 · 9442.j · 生成模型:Tencent Hunyuan Hy

准确率的样本失衡陷阱

理解等级:中级

准确率(Accuracy)指预测正确的样本占总样本的比例,公式为(TP+TN)/(TP+TN+FP+FN),取值在0到1之间,越大表示整体预测能力越好。例如猫狗各500张、TP=318、TN=415、FP=75、FN=182时,准确率为(318+415)/1000=0.73。但它有两个明显缺陷:一是不区分类别,对所有类别平等对待,上例整体0.73却掩盖了模型对猫的识别远差于狗,若目标是挑出猫则这个数值虚高;二是在正负样本极不平衡时几乎失效——银行找万分之一概率的信托高净值客户,模型把所有客户都预测为不适合也有99%以上准确率,却找不到任何目标客户。用途:作快速整体参考。边界:类别不平衡或各类代价不同(如癌症误诊与漏诊重要性不同)时不能单用它。可迁移启发是没有万能指标,须按场景选。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 了解你手上的数据 3.3.2 准确率 · 查看原书依据

      在正负样本极不平衡的情况下,准确率这个指标存在很大的缺陷。例如在银行的全量客户中,要寻找适合推荐信托产品的超高净值客户是非常难的。因为这部分人群要求存款较多、收入较高,比较稀少,往往只有万分之一的概率。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第3章《了解你手上的数据》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00008.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文以信托超高净值客户万分之一概率、全判负类仍有99%以上准确率的案例,支撑本卡样本失衡下准确率缺陷的结论。 - 原始内容:在正负样本极不平衡的情况下,准确率这个指标存在很大的缺陷。例如在银行的全量客户中,要寻找适合推荐信托产品的超高净值客户是非常难的。因为这部分人群要求存款较多、收入较高,比较稀少,往往只有万分之一的概率。