知识卡片
A/A实验校准分组本身的噪声
内容
在正式做A/B实验前，先跑一次和A/B实验等长的A/A实验——两组上线完全相同的策略，用来检测”仅仅因为分组方式本身”就可能带来的组间差异，为后续A/B实验的显著性结果提供基线参考。如果A/A实验本身就显著，说明分流机制或统计方法本身有问题，A/B实验的结果必须结合这个基线做校正；如果A/A不显著，A/B的结果才能直接采信而不用额外校正。
参考来源
- 位置：《数据科学工程实践》第7章《如何比较两个策略的效果》"7.3 A/B实验应用步骤·A/A实验"一节（源文件：_epub-src/OEBPS/Text/part0040.xhtml）
- 结论依据：原文明确"所谓A/A实验，就是实验组和对照组上线一模一样的策略，用来检测分组方式本身带来的实验组与对照组的差异，给A/B实验两组差异提供基线参考……如果A/A实验的结果也是显著的，说明实验方式本身会造成差异，因此A/B实验的结果应当结合A/A的结果做校正分析。如果A/A实验的结果不显著，那么A/B实验的结果无须校正"。
- 原始内容：在开始A/B实验之前，我们需要先进行与实验周期等长的A/A实验。所谓A/A实验，就是实验组和对照组上线一模一样的策略，用来检测分组方式本身带来的实验组与对照组的差异，给A/B实验两组差异提供基线参考……如果A/A实验的结果也是显著的，说明实验方式本身会造成差异，因此A/B实验的结果应当结合A/A的结果做校正分析。如果A/A实验的结果不显著，那么A/B实验的结果无须校正。