知识卡片
关联变量被重复计权
失败机制:朴素贝叶斯把每个属性的条件概率独立相乘,等于假定每个属性带来一份全新证据。若两个属性高度相关,它们描述的其实是同一件事,连乘就把这份证据算了两遍,后验被推向极端。
书中例子:低收入与低信用往往同时出现,二者都能预测违约。把它们当作两个独立属性输入,模型会重复计入“低收入加低信用”的合力,高估违约概率,也可能在边界样本上给出错误标签。
后果的形态: - 排序可能仍大致正确,但概率严重失真,不能当作风险分数使用; - 在相关性强的属性组上,少数组合会压过其他证据,模型显得固执; - 训练集里相关性越强、属性越多,放大越明显。
对策:建模前做相关性筛查,合并或删去同源属性;改用能显式处理相关的逻辑回归(可加交互项)或决策树(天然处理交互);若只要排序,可用校准方法修正输出概率。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 高级分析理论与方法:分类 · 查看原书依据
作为一个例子,假定低收入和低信用的人往往会拖欠债务。如果要基于收入和信用作为两个独立的属性来计算“拖欠”,朴素贝叶斯可能会重复计算收入和信用对于拖欠结果的效应,从而降低预测的准确性。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_002.html)
- 结论依据:7.2.4 节指出朴素贝叶斯对关联变量敏感,并以收入与信用同时预测拖欠为例,说明效应会被重复计算、降低准确性。
- 原始内容:作为一个例子,假定低收入和低信用的人往往会拖欠债务。如果要基于收入和信用作为两个独立的属性来计算“拖欠”,朴素贝叶斯可能会重复计算收入和信用对于拖欠结果的效应,从而降低预测的准确性。