效果显著性判断避免被数字直觉误导

实验组点击率2%、对照组1.8%，看起来实验组更好，但0.2个百分点的差异到底是真实提升还是随机波动，不能凭直觉判断，需要做统计显著性检验。做法是计算Z值，再和给定置信区间（常用95%）对应的临界Z值比较——比如算出Z值是1.637，而95%置信区间对应的临界值是1.645，1.637小于1.645，说明这个提升在统计上并不显著，很可能只是噪声。发散：这解释了为什么很多AB测试”实验组数字确实高一点”却依然被判定为”无效”——业务直觉天然倾向于相信”数字大就是好”，但统计显著性检验的意义正是过滤掉这种小样本随机波动造成的错觉，避免团队把噪声当成信号去做决策，白白浪费资源推广一个其实没有效果的方案。