评估AB测试要看综合指标而非单一指标

即使实验组的目标指标明显好于对照组，也不能立刻下结论说该方案胜出——还要看这个提升有没有牺牲其他更重要的指标。案例：汽车页面实验组新增了一个”点击”按钮，点击率显著优于对照组，但最终交易额反而是没有按钮的对照组更高，说明这个按钮虽然刺激了点击行为，却干扰或分流了原本会直接促成交易的路径，综合权衡后应该选对照组方案。发散：这提醒了一个常见的KPI陷阱——如果实验的评估指标只设了一个（比如点击率），团队很容易为了做出”好看”的实验结果而设计出对该指标友好、但对整体业务有害的方案，评估AB测试结果时至少要同时看核心正向指标和收入/成本这类兜底指标，才能避免赢了指标却输了业务。