AB测试的三个常见误区

AB测试出错常见于三处：一是流量设置随意，比如只抽10%用户做实验组、剩下90%全做对照组，两组样本量差异悬殊导致置信度不对等，结果长期不稳定——正确做法是实验组、对照组1、对照组2都按同等比例抽样，对照组之间互相印证抽样是否稳定；二是实验时长或时点不当，比如对比多个渠道转化率时，各渠道投放时长长短不一、又分别落在暑假和开学季这种效应完全不同的时间段，结果自然不可比；三是只看正向指标、忽略负向指标（即[[评估AB测试要看综合指标而非单一指标]]强调的陷阱），比如每日推品到群确实提升了购买转化率，却没注意到群成员数量因为骚扰感在持续流失，长期看反而在透支运营资产。发散：三个误区的共同根源都是”实验设计的隐含前提没有被检验”——分组是否真的等价、时间窗口是否真的可比、指标清单是否真的完整，这些前提不成立时，再漂亮的实验数字都是无效的。