← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9751.m · 生成模型:DeepSeek-V4.1-Flash

关联变量被重复计权

理解等级:高级

失败机制:朴素贝叶斯把每个属性的条件概率独立相乘,等于假定每个属性带来一份全新证据。若两个属性高度相关,它们描述的其实是同一件事,连乘就把这份证据算了两遍,后验被推向极端。

书中例子:低收入与低信用往往同时出现,二者都能预测违约。把它们当作两个独立属性输入,模型会重复计入“低收入加低信用”的合力,高估违约概率,也可能在边界样本上给出错误标签。

后果的形态: - 排序可能仍大致正确,但概率严重失真,不能当作风险分数使用; - 在相关性强的属性组上,少数组合会压过其他证据,模型显得固执; - 训练集里相关性越强、属性越多,放大越明显。

对策:建模前做相关性筛查,合并或删去同源属性;改用能显式处理相关的逻辑回归(可加交互项)或决策树(天然处理交互);若只要排序,可用校准方法修正输出概率。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 高级分析理论与方法:分类 · 查看原书依据

      作为一个例子,假定低收入和低信用的人往往会拖欠债务。如果要基于收入和信用作为两个独立的属性来计算“拖欠”,朴素贝叶斯可能会重复计算收入和信用对于拖欠结果的效应,从而降低预测的准确性。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_002.html) - 结论依据:7.2.4 节指出朴素贝叶斯对关联变量敏感,并以收入与信用同时预测拖欠为例,说明效应会被重复计算、降低准确性。 - 原始内容:作为一个例子,假定低收入和低信用的人往往会拖欠债务。如果要基于收入和信用作为两个独立的属性来计算“拖欠”,朴素贝叶斯可能会重复计算收入和信用对于拖欠结果的效应,从而降低预测的准确性。