AB测试四步法框架

AB测试通过控制其他变量、只让待验证的方案作为唯一变量，来验证一个结论是否真的成立，是用户增长领域几乎所有策略决策的最终验证方式。完整流程分四步：设定目标，明确实验组/对照组的变量和要观察的指标；流量分配，确定实验组和对照组各自的样本量与分配方式（新功能上线一般对照组占大头，UI微调则常是50/50对半分）；数据分析，计算需要的样本量、实验天数，并检验效果差异是否具有统计显著性；得出结论，即使效果不好也要及时同步并排查原因，即使核心指标变好也要看有没有牺牲其他指标。发散：四步法最容易被跳过的是”设定目标”这一步——很多团队直接从”上线了看数据”开始，却没有提前明确要观察哪些指标、预期提升多少，导致实验结束后数据摆在眼前却不知道该怎么下判断。