知识卡片
网络效应破坏A/B实验的独立性假设
内容
A/B实验默认”个体处理稳定性假设”——一个用户的实验结果只取决于自己被分到哪一组，不受其他用户影响。但社交网络、外卖抢单这类场景里，实验组用户的行为会溢出影响对照组用户（比如广告点击相互干扰、骑手跨簇接单），这种网络效应一旦存在，简单随机分流得到的组间差异就会被污染，不再是干净的策略效应。应对网络效应必须在实验设计阶段就考虑进去，事后从被污染的数据里补救往往很难。
参考来源
- 位置：《数据科学工程实践》第9章《特殊场景下的实验设计和分析方法》"9.1 解决分流实验对象之间的干扰"一节（源文件：_epub-src/OEBPS/Text/part0050.xhtml）
- 结论依据：原文明确"网络效应……实验单元的实验结果不仅取决于个体本身，还会受其他实验单元的影响……不存在网络效应的假设被称为个体处理稳定性假设"，并指出"如果已经得到A/B实验数据了才发现存在网络效应，就只能尽可能剥离出未受污染的实验组和控制组……这样做十分麻烦而且并不是每次都能有分析方法来救场的"。
- 原始内容：网络效应……实验单元的实验结果不仅取决于个体本身，还会受其他实验单元的影响……不存在网络效应的假设被称为个体处理稳定性假设，我们往往需要在开始实验设计的时候评估是否存在网络效应，如果已经得到A/B实验数据了才发现存在网络效应，就只能尽可能剥离出未受污染的实验组和控制组得出无偏的实验结果，这样做十分麻烦而且并不是每次都能有分析方法来救场的。