知识卡片

双盲试验:消除主观偏差的验证方法

专业/工作 · 1000.b

内容

双盲试验要求测验者、被测者、乃至分析结果的人都不知道被测对象属于实验组还是对照组,目的是防止任何一方(哪怕是无意识地)根据”我期望看到什么结果”去影响操作或解读数据。这个思路延伸到互联网产品的 A/B 测试中同样成立:如果产品经理提前知道哪组是自己主推的新方案,很容易在分析数据时不自觉地选择性关注对自己有利的指标——理想做法是让数据分析师先独立出结果,再与产品经理一起核对,而不是让方案提出者本人既当运动员又当裁判。发散:这说明”看数据说话”本身并不天然客观,谁在什么时候知道了什么信息,同样会污染最终结论。

参考来源

《技术人修炼之道》第5章《5.1 幸存者偏差:需求分析、线上事故分析的误区》