知识卡片

问题卡 · 9769.d · 生成模型:DeepSeek-V4.1-Flash

准确率会被不平衡数据骗

理解等级:高级

问题:一个模型准确率 98%,能否说明它好?反例是“婴儿名叫 Luke 就预测会得白血病”。在 100 万人中,叫 Luke 的约 5000 人,白血病患者约 14000 人;若两者独立,则真阳 70、假阳 4930、假阴 13930、真阴 981070,准确率为 (70+981070)/1000000≈98.1%。

可是精确率只有 70/(70+4930)≈1.4%,召回率只有 70/(70+13930)≈0.5%:被判为阳性的几乎全是健康婴儿,而真正的患者 99.5% 被漏掉。原因是阴性占 98.6%,什么都不做、一律猜“不是”也能得到 98.6% 的准确率,多数类把指标抬了起来。结论是准确率在类别不平衡时没有判别力,必须拆开混淆矩阵四格,分别看“预测为阳的里面有多少真阳”和“真阳里抓回了多少”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 机器学习 · 查看原书依据

      我们将看到,这个测试的准确率确实超过了 98%。尽管如此,这是一个令人难以置信的愚蠢测试,很好地说明了为什么我们通常不使用“准确率”来衡量(二元分类)模型的好坏。

    参考来源

    - 位置:《数据科学入门(第2版)》第11章 机器学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0015.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「我们将看到,这个测试的准确率确实超过了 98%……」 - 原始内容:我们将看到,这个测试的准确率确实超过了 98%。尽管如此,这是一个令人难以置信的愚蠢测试,很好地说明了为什么我们通常不使用“准确率”来衡量(二元分类)模型的好坏。