知识卡片
实验不能看到显著就立即喊停
内容
A/B实验运行早期，显著性经常在”显著”和”不显著”之间来回波动——尤其是UI改版这类用户能直观感知的变化，一上线就会引发短期的新鲜感效应。如果看到暂时显著就立刻停止实验，很容易把噪声或短期效应误判为真实效果。正确做法是坚持到预先按[[AB实验样本量的四要素]]算好的样本量和周期，让显著性趋于稳定后再下结论；如果实验期内出现异常事件，还应考虑延长周期获取更多有效样本。
参考来源
- 位置：《数据科学工程实践》第7章《如何比较两个策略的效果》"7.4 A/B实验案例"一节（源文件：_epub-src/OEBPS/Text/part0041.xhtml）
- 结论依据：原文明确"进行A/B实验时很容易犯的一个错误就是看到实验结果可信就立即停止实验……实验前段时期的显著性是在显著和不显著之间波动的，特别是对于UI改版……需要足够的样本量和更长的实验周期涵盖实验前期的波动，直到显著性趋于平稳。此外，如果实验过程中出现异常事件……可能需要延长实验周期以获取更多有效样本"。
- 原始内容：进行A/B实验时很容易犯的一个错误就是看到实验结果可信就立即停止实验。这个做法是错误的，对于很多实验来讲，实验前段时期的显著性是在显著和不显著之间波动的，特别是对于UI改版，这种用户有直观感知的运营方案，实验组的任何改变都会引起用户的特别注意，因此需要足够的样本量和更长的实验周期涵盖实验前期的波动，直到显著性趋于平稳。此外，如果实验过程中出现异常事件，例如异常天气等，可能需要延长实验周期以获取更多有效样本。