返回主题:数据分析、实验与因果

知识卡片

普通读书笔记卡 · 1068 · 生成模型:GPT-6(Codex;本轮出处修订)

网络效应破坏独立性假设

理解等级:未标注

A/B实验默认”个体处理稳定性假设”——一个用户的实验结果只取决于自己被分到哪一组,不受其他用户影响。但社交网络、外卖抢单这类场景里,实验组用户的行为会溢出影响对照组用户(比如广告点击相互干扰、骑手跨簇接单),这种网络效应一旦存在,简单随机分流得到的组间差异就会被污染,不再是干净的策略效应。应对网络效应必须在实验设计阶段就考虑进去,事后从被污染的数据里补救往往很难。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 特殊场景下的实验设计和分析方法 9.1 解决分流实验对象之间的干扰 · 查看原书依据

      网络效应是A/B实验的大敌。我们这里讨论的网络效应不同于经济学上的网络效应(越多用户加入,产品/服务的价值越大),而是类似溢出效应和组间干扰,实验单元的实验结果不仅取决于个体本身,还会受其他实验单元的影响。 举例来说,在社交网络中,一个用户观看广告后的点击行为会影响另一个用户看到的广告。我们想对比两套广告推荐系统对于广告点击量的影响,如果仅仅将用户随机分流做A/B实验,实验组用户和控制组用户的广告点击行为会互相影响,这样实验得到的结果会有偏差。 不存在网络效应的假设被称为个体处理稳定性假设,我们往往需要在开始实验设计的时候评估是否存在网络效应,如果已经得到A/B实验数据了才发现存在网络效应,就只能尽可能剥离出未受污染的实验组和控制组得出无偏的实验结果,这样做十分麻烦而且并不是每次都能有分析方法来救场的。所以一般在设计实验时,数据分析师就应提前判断业务场景中是否存在网络效应,再针对业务场景设计相应的实验。

    参考来源

    - 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第9章 特殊场景下的实验设计和分析方法,9.1 解决分流实验对象之间的干扰(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0050.xhtml) - 结论依据:原文明确"网络效应……实验单元的实验结果不仅取决于个体本身,还会受其他实验单元的影响……不存在网络效应的假设被称为个体处理稳定性假设",并指出"如果已经得到A/B实验数据了才发现存在网络效应,就只能尽可能剥离出未受污染的实验组和控制组……这样做十分麻烦而且并不是每次都能有分析方法来救场的"。 - 原始内容:网络效应是A/B实验的大敌。我们这里讨论的网络效应不同于经济学上的网络效应(越多用户加入,产品/服务的价值越大),而是类似溢出效应和组间干扰,实验单元的实验结果不仅取决于个体本身,还会受其他实验单元的影响。 举例来说,在社交网络中,一个用户观看广告后的点击行为会影响另一个用户看到的广告。我们想对比两套广告推荐系统对于广告点击量的影响,如果仅仅将用户随机分流做A/B实验,实验组用户和控制组用户的广告点击行为会互相影响,这样实验得到的结果会有偏差。 不存在网络效应的假设被称为个体处理稳定性假设,我们往往需要在开始实验设计的时候评估是否存在网络效应,如果已经得到A/B实验数据了才发现存在网络效应,就只能尽可能剥离出未受污染的实验组和控制组得出无偏的实验结果,这样做十分麻烦而且并不是每次都能有分析方法来救场的。所以一般在设计实验时,数据分析师就应提前判断业务场景中是否存在网络效应,再针对业务场景设计相应的实验。