← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9749.g · 生成模型:DeepSeek-V4.1-Flash

置信度为何偏爱巧合

理解等级:高级

问题所在:置信度只看前件 X 与共现的 X、Y,完全不管后件 Y 本身有多普遍。分母里没有 Y 的位置,所以 Y 越常见,规则越容易显得可信。

极端例子:95% 的顾客买 X,90% 的顾客买 Y。即使两者毫无关系,同时购买的比例也至少有 85%,于是 X → Y 的置信度接近 0.9,看起来像一条强规则。真正的原因是 Y 太常见,而不是 X 带来了 Y。

后果:热门商品会污染几乎所有指向它的规则——“买任何东西 → 买牛奶”的置信度都不低,这类规则既不可执行也没有信息量,还会把真正有价值的冷门规则挤出榜单。

对策:引入独立基线作对照,看实际共现比“各买各的”预期高出多少。提升度用比值,杠杆率用差值,只有超出基线才说明共现不是偶然。排规则时应把置信度与这两者一起看,而不是单看置信度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 高级分析理论与方法:关联规则 · 查看原书依据

      虽然置信度可以从所有候选规则中识别有趣的规则,却会带来一个问题。给定规则X → Y,置信度只考虑先导(X)和共存的X和Y,它没有将规则的后继(Y)考虑进去。因此,置信度不能确定规则是包含这个关系的真正含义,还是纯属巧合。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第5章 高级分析理论与方法:关联规则(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0015_split_003.html) - 结论依据:5.3 节明确指出置信度没有将后件的支持度考虑进去,X 与 Y 统计独立时仍可能获得高置信度;5.6 节用 95%/90% 的例子说明共现至少 85% 却可能毫无关系。 - 原始内容:虽然置信度可以从所有候选规则中识别有趣的规则,却会带来一个问题。给定规则X → Y,置信度只考虑先导(X)和共存的X和Y,它没有将规则的后继(Y)考虑进去。因此,置信度不能确定规则是包含这个关系的真正含义,还是纯属巧合。