知识卡片
不平衡数据别只看正确率
问题:训练集中某类样本远多于其他类(类别不平衡)时,整体正确率 accuracy=(TP+TN)/(TP+FP+FN+TN) 会被多数类主导。极端情形下把全部样本判为多数类也能得到很高的正确率,模型却完全无用,而这类模型恰恰最容易被指标“奖励”。
分析:要把结果拆成混淆矩阵的四个格子——TP(真正,正类判正)、FP(假正,负类判正)、TN(真负)、FN(假负,正类判负),分别看模型在关心的类别上抓得准不准、全不全。
方案:用精确率 precision=TP/(TP+FP) 衡量“判为正的里面有多少真是正”,用召回率 recall=TP/(TP+FN) 衡量“真正的正例被抓出多少”;两者往往此消彼长,再用 F=2×precision×recall/(precision+recall)(调和平均)折中。整体能力还可看 [[ROC曲线把阈值扫一遍]] 的 AUC。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性分类方法 · 查看原书依据
此类问题中,模型对不同类别点的预测能力可能差异很大,如果只关注整体预测的准确性,很有可能模型预测所有数据属于最多类别那一类,实际上这样的模型是没有作用的。因此我们需要考虑模型在我们关心的类别上的预测准确性。
参考来源
- 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0001.xhtml,3.1.2 分类问题评价准则)
- 结论依据:原文指出类别不平衡时只关注整体准确性可能得到把所有样本判为多数类的无用模型,因此要考察模型在关心类别上的预测准确性,并给出精确率、召回率与 F 值。
- 原始内容:此类问题中,模型对不同类别点的预测能力可能差异很大,如果只关注整体预测的准确性,很有可能模型预测所有数据属于最多类别那一类,实际上这样的模型是没有作用的。因此我们需要考虑模型在我们关心的类别上的预测准确性。