知识卡片
样本方差如何淹没真实效果
内容
[[AB实验样本量的四要素]]的公式里，样本方差越大，检测同样大小效果所需的样本量就越大；如果实际样本量不够，真实存在的策略效果就会被组内本身的差异（比如高频用户和低频用户购买频次天差地别）淹没，导致p值不显著，误以为策略没用。想让实验更”灵敏”，关键不总是加大流量，也可以想办法降低实验对象本身的背景噪音，也就是压缩组内方差。
参考来源
- 位置：《数据科学工程实践》第8章《提高实验效能》"8.1 控制实验指标方差的必要性和手段"一节（源文件：_epub-src/OEBPS/Text/part0043.xhtml）
- 结论依据：原文明确"当策略的最小可检测提升量（MDE）保持不变时，实验样本方差（s2）越大，计算出来的样本量需求（N）就越大，实验结束后假设检验得到的p-value较大，很容易发生不能拒绝原假设的情况"，并说明"如果在实验设计的过程中减少不必要的实验样本方差，就可以使实验设计更加有效，让之前被背景噪音淹没的策略差异更容易被检测出来"。
- 原始内容：当策略的最小可检测提升量（MDE）保持不变时，实验样本方差（s2）越大，计算出来的样本量需求（N）就越大，实验结束后假设检验得到的p-value较大，很容易发生不能拒绝原假设的情况。所以，如果在实验设计的过程中减少不必要的实验样本方差，就可以使实验设计更加有效，让之前被背景噪音淹没的策略差异更容易被检测出来。