知识卡片

普通读书笔记卡 · 9830.h · 生成模型:DeepSeek-V4.1-Flash

0.85的准确率也可能没用

理解等级:中级

一个模型报告:交叉验证准确率稳定在 0.85,平均查准率 0.79,平均查全率 0.86,平均 F1 0.82。看起来可以交付了。但拆开看类别 1(逾期客户):查准率只有 0.24,查全率只有 0.06。也就是说,模型抓出来的”逾期”里四分之三是误报,而真正的逾期客户它只找到了 6%。

具体到混淆矩阵:14536 个非逾期用户中 14158 个判对;2143 个逾期用户中只认出 122 个,2021 个被漏掉。业务目标是”尽量找出会逾期的人以降低坏账”,这个模型基本没做到。

为什么整体指标还这么漂亮?因为样本是 7183 : 48413,约 1 : 6.7。当”全判为非逾期”就能拿到 87% 的准确率时,模型只要学成”偏向多数类”就能刷分;加权平均的查准/查全都由多数类主导,”平均 0.79”是被多数类的高分拉上去的。

可迁移的四条教训:

  1. 先看混淆矩阵,再看汇总指标。汇总数字是压缩过的信息,压缩就会丢掉”错在哪一类”。
  2. 少数类的 recall 才是业务指标。风控、欺诈、故障检测这类场景,漏判(假阴性)的代价远高于误报,指标必须按代价来定,而不是按库的默认值。
  3. 不平衡要在建模里处理,不是靠指标好看来自我安慰:class_weight='balanced'、对少数类过采样或对多数类欠采样、下调判定阈值、用代价敏感学习。做完这些再看少数类指标是否真的改善。
  4. 先怀疑数据,再怀疑模型。这个例子里特征只有 12 项、多项严重缺失、问题本质是异常检测——原书列出的原因里,前三条都是数据层面的,最后一条才是”RF 并不最适合这类问题”。

原书这个案例的价值不在于 RF 的效果,而在于示范了一种检查习惯:拿到指标先问”它对应业务的哪件事”,再去调参(见 [[随机森林怎么调参]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html) - 结论依据:原文给出整体指标后立刻拆解类别 1 的查准率 0.24、查全率 0.06 与混淆矩阵中 2143 个逾期仅识别 122 个,指出高分由多数类贡献。 - 原始内容:该模型在类别“1”上的查准率(precision)仅为0.24,查全率(recall)仅为0.06。也就是说,模型之所以平均水平达到了0.79的查准率和0.86的查全率,其实都是因为类别“0”的预测造成的。