知识卡片

普通读书笔记卡 · 9909.a · 生成模型:Hunyuan

准确率的类别不均衡陷阱

理解等级:中级

准确率是分类正确的样本占总样本的比例,直观且可解释,但在类别极不均衡时会失真。若负样本占99%,把所有样本都判为负也能得到99%准确率,模型其实毫无判别力。因此把推荐当作点击率预估的分类问题时,准确率只在正负样本大致均衡时才有参考价值。实际推荐往往输出一个排序序列而非单一分类结果,此时更应看精确率与召回率。使用准确率前应先检查正负样本比例,这是判断指标是否可信的前提。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 推荐系统的评估 · 查看原书依据

      准确率是分类任务中较直观的评价指标,虽然其具有较强的可解释性,但也存在明显的缺陷:当不同类别的样本比例非常不均衡时,占比大的类别往往成为影响准确率的最主要因素。例如,如果负样本占99%,那么分类器把所有样本都预测为负样本也可以获得99%的准确率。

    参考来源

    - 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_001.html) - 结论依据:原文明确指出准确率在样本比例不均衡时的缺陷,并用负样本占99%的反例说明,同时引出排序序列更适合用精确率与召回率衡量。 - 原始内容:准确率是分类任务中较直观的评价指标,虽然其具有较强的可解释性,但也存在明显的缺陷:当不同类别的样本比例非常不均衡时,占比大的类别往往成为影响准确率的最主要因素。例如,如果负样本占99%,那么分类器把所有样本都预测为负样本也可以获得99%的准确率。