知识卡片

普通读书笔记卡 · 9828.g · 生成模型:DeepSeek-V4.1-Flash

类别不平衡的权重修正

理解等级:中级

Logistic 回归对正负样本分布敏感:如果 99% 的样本是负例,模型把所有人都判成负例也能拿到 99% 的准确率,但正例一个都抓不到。优化目标本身也在推着它这么做——最小化总损失时,照顾多数类的收益远大于照顾少数类。

scikit-learn 的 class_weight 就是给不同类别加不同权重:

  • 默认 None,所有类别权重为 1;
  • 'balanced',权重与该类别在样本中的出现频率成反比,即 n_samples / (n_classes × count_c),少数类自动获得更大权重;
  • 也可传字典 {0: 1, 1: 5} 手工指定,适用于明确知道误判代价不对称的场景(漏掉一个欺诈交易比误拦一个正常用户贵得多)。

机制上看,加权等价于在损失里给每个样本乘一个系数,梯度中的残差 (p_i − y_i) 被放大或缩小,效果接近对少数类过采样——但不真的复制数据,不增加内存,也不改变样本顺序。

有两点边界需要交代:

  1. 概率含义会变。加权训练出的 p 不再对应原始先验下的真实后验,它偏向少数类。如果下游要用概率做期望收益计算(比如定价、额度),需要重新校准,或者干脆保留原模型、只调分类阈值。
  2. 它不解决特征不足。若少数类样本只有几十个,权重放大只是让这几十个点说话更响,方差依然大,配合重采样或专门算法更稳。

除了加权,另外两条常用路子是:调低判定阈值(把 0.5 换成 0.2)、以及换评估指标——不平衡场景下看 AUC、F1、召回率,而不是准确率。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html) - 结论依据:原文说明 class_weight 默认为 None 即权重均为 1,正负样本不平衡明显时可设为 balanced、使权重与类别出现频率成反比,也可用字典自定权重;7.6 节亦指出模型对样本分布敏感、正例不能太少。 - 原始内容:class_weight:指定各类别的权重,默认为 None,表示每个类别的权重都是1。当数据的正负样本不平衡比较明显时,可以考虑设为 balanced,表示每个类别的权重与该类别在样本集中出现的频率成反比。