AB测试样本量与实验天数的确定

作为[[AB测试四步法框架]]中”数据分析”步骤的具体展开，AB测试的样本量不是越多越好也不是越少越好——理论上样本越多结果越稳定，但工作中流量有限、实验成本要控制，所以要用专门的计算工具反推出”检测出预期提升幅度所需的最小样本量”，而不是拍脑袋定。实验天数＝最小样本量所需的天数，再加上用户新鲜效应期（新功能刚上线用户会因为新奇而表现异常，一般需要3天消退）和至少一个完整的用户行为周期（比如要覆盖一个周末，因为周末和工作日的行为模式差异很大）。此外，正式测试前最好先跑一次”分配质量AB测试”——把流量分成对照1组和对照2组对比，确认分组本身是否均匀，如果两组本该无差异的对照组数据都对不上，说明分流机制本身有问题，后续所有实验结果都不可信。发散：分配质量检验常被跳过，但它其实是所有后续AB测试结论的地基——地基不稳，上面测出的任何”显著提升”都可能只是分组偏差的假象。