知识卡片
置信度为何偏爱巧合
问题所在:置信度只看前件 X 与共现的 X、Y,完全不管后件 Y 本身有多普遍。分母里没有 Y 的位置,所以 Y 越常见,规则越容易显得可信。
极端例子:95% 的顾客买 X,90% 的顾客买 Y。即使两者毫无关系,同时购买的比例也至少有 85%,于是 X → Y 的置信度接近 0.9,看起来像一条强规则。真正的原因是 Y 太常见,而不是 X 带来了 Y。
后果:热门商品会污染几乎所有指向它的规则——“买任何东西 → 买牛奶”的置信度都不低,这类规则既不可执行也没有信息量,还会把真正有价值的冷门规则挤出榜单。
对策:引入独立基线作对照,看实际共现比“各买各的”预期高出多少。提升度用比值,杠杆率用差值,只有超出基线才说明共现不是偶然。排规则时应把置信度与这两者一起看,而不是单看置信度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
虽然置信度可以从所有候选规则中识别有趣的规则,却会带来一个问题。给定规则X → Y,置信度只考虑先导(X)和共存的X和Y,它没有将规则的后继(Y)考虑进去。因此,置信度不能确定规则是包含这个关系的真正含义,还是纯属巧合。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第5章 高级分析理论与方法:关联规则(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0015_split_003.html)
- 结论依据:5.3 节明确指出置信度没有将后件的支持度考虑进去,X 与 Y 统计独立时仍可能获得高置信度;5.6 节用 95%/90% 的例子说明共现至少 85% 却可能毫无关系。
- 原始内容:虽然置信度可以从所有候选规则中识别有趣的规则,却会带来一个问题。给定规则X → Y,置信度只考虑先导(X)和共存的X和Y,它没有将规则的后继(Y)考虑进去。因此,置信度不能确定规则是包含这个关系的真正含义,还是纯属巧合。