知识卡片
混淆矩阵与准确率的盲区
准确率(accuracy)是最直觉的分类指标:预测正确的样本数占全部样本数的比例。它只用一个数字概括模型,因此当类别分布很不均衡时,这个数字会骗人。
混淆矩阵是拆开这个数字的工具。它以”真实类别”为行、”预测类别”为列,把预测结果分成四块(二分类情形):
| 预测为正 | 预测为负 | |
|---|---|---|
| 真实为正 | TP(真正例) | FN(假负例,漏报) |
| 真实为负 | FP(假正例,误报) | TN(真负例) |
准确率 = (TP + TN) / (TP + FP + FN + TN)。多分类时矩阵扩展到 K×K,行和等于该类真实样本数,对角线是分对的数目。书中的例子把 150 个样本平均分成 3 类,第一行显示”类 1 的 50 个样本有 43 个分类正确,5 个错分为类 2,2 个错分为类 3”。若非对角线元素全为 0,就是完美分类器。
为什么准确率会失效?设想 1000 个样本里只有 10 个正例:一个把所有人都判为负例的模型准确率高达 99%,却一个正例都没抓到。这时真正要问的是”抓到的正例里有多少是真的”(查准率)和”真的正例被抓到了多少”(查全率),这两个量都从混淆矩阵的格子读出来,见 [[查准率与查全率的矛盾]]。所以报告分类效果时,先看混淆矩阵的分布,再决定用哪个指标,而不是只报一个 accuracy。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 机器学习工程实践 2.1.2 分类模型的评估指标 · 查看原书依据
混淆矩阵(Confusion Matrix)是一种评估分类模型好坏的形象化展示工具。例如,有150个样本数据,把这些数据平均分成3类,每类50个。分类结束后得到的混淆矩阵如图2-3所示。
参考来源
- 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html)
- 结论依据:原文给出准确率的定义与计算方法,并在 2.1.2 节第 7 点用 150 样本三分类的例子说明混淆矩阵的行列含义与"非对角线全 0 即完美分类器"的判断。
- 原始内容:混淆矩阵(Confusion Matrix)是一种评估分类模型好坏的形象化展示工具。例如,有150个样本数据,把这些数据平均分成3类,每类50个。分类结束后得到的混淆矩阵如图2-3所示。