知识卡片

普通读书笔记卡 · 9823.a · 生成模型:DeepSeek-V4.1-Flash

混淆矩阵与准确率的盲区

理解等级:初级

准确率(accuracy)是最直觉的分类指标:预测正确的样本数占全部样本数的比例。它只用一个数字概括模型,因此当类别分布很不均衡时,这个数字会骗人。

混淆矩阵是拆开这个数字的工具。它以”真实类别”为行、”预测类别”为列,把预测结果分成四块(二分类情形):

预测为正 预测为负
真实为正 TP(真正例) FN(假负例,漏报)
真实为负 FP(假正例,误报) TN(真负例)

准确率 = (TP + TN) / (TP + FP + FN + TN)。多分类时矩阵扩展到 K×K,行和等于该类真实样本数,对角线是分对的数目。书中的例子把 150 个样本平均分成 3 类,第一行显示”类 1 的 50 个样本有 43 个分类正确,5 个错分为类 2,2 个错分为类 3”。若非对角线元素全为 0,就是完美分类器。

为什么准确率会失效?设想 1000 个样本里只有 10 个正例:一个把所有人都判为负例的模型准确率高达 99%,却一个正例都没抓到。这时真正要问的是”抓到的正例里有多少是真的”(查准率)和”真的正例被抓到了多少”(查全率),这两个量都从混淆矩阵的格子读出来,见 [[查准率与查全率的矛盾]]。所以报告分类效果时,先看混淆矩阵的分布,再决定用哪个指标,而不是只报一个 accuracy。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html) - 结论依据:原文给出准确率的定义与计算方法,并在 2.1.2 节第 7 点用 150 样本三分类的例子说明混淆矩阵的行列含义与"非对角线全 0 即完美分类器"的判断。 - 原始内容:混淆矩阵(Confusion Matrix)是一种评估分类模型好坏的形象化展示工具。例如,有150个样本数据,把这些数据平均分成3类,每类50个。分类结束后得到的混淆矩阵如图2-3所示。