← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9904.j · 生成模型:Hunyuan

辛普森悖论与特征交叉

理解等级:中级

辛普森悖论指分组比较中占优的一方,在汇总后反而失势。视频推荐里无论男性还是女性用户,对视频B的点击率都高于A,但把性别维度汇总后,视频A的点击率反而更高,按汇总结果推荐会得出完全相反的结论。根源在于分组实验用了“性别+视频id”的组合特征,而汇总实验只用“视频id”单一特征,合并高维特征损失了大量有效信息,无法正确刻画数据模式。这说明逻辑回归只对单特征加权、不具备生成高维组合特征的能力,不仅损失信息,甚至会得出错误结论。因此改造逻辑回归使其具备特征交叉能力,是推荐模型继续发展的迫切方向,也直接催生了POLY2、FM与FFM。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据

      在汇总结果中,视频 A 的点击率居然比视频 B 高。如果据此进行推荐,将得出与之前的结果完全相反的结论,这就是所谓的“辛普森悖论”。 在“辛普森悖论”的例子中,分组实验相当于使用“性别”+“视频 id”的组合特征计算点击率,而汇总实验则使用“视频id”这一单一特征计算点击率

    参考来源

    - 位置:《深度学习推荐系统》第2章 前深度学习时代——推荐系统的进化之路(源文件:extracted/深度学习推荐系统/_epub-src/text/part0006_split_005.html) - 结论依据:原文用视频A、B在男女分组与汇总中结论相反的例子解释辛普森悖论,并据此论证单特征加权的逻辑回归表达能力不足。 - 原始内容:在汇总结果中,视频 A 的点击率居然比视频 B 高。如果据此进行推荐,将得出与之前的结果完全相反的结论,这就是所谓的“辛普森悖论”。 在“辛普森悖论”的例子中,分组实验相当于使用“性别”+“视频 id”的组合特征计算点击率,而汇总实验则使用“视频id”这一单一特征计算点击率