知识卡片
全量评估的核心困境
内容
有些策略（如分享裂变、拉新领券）天然无法做A/B实验——把用户强行分成”能分享”和”不能分享”两组会严重伤害体验，甚至引发用户对被区别对待的反感；按奇偶日分组也不可行，因为用户在不同天的行为会互相影响、彼此干扰。这类场景只能全量上线，评估时唯一能依赖的就是各种事后统计手段去补上”控制变量”这个[[潜在结果框架与AB实验的必要性]]本该提供、但全量场景里已经丢失的核心要素。
参考来源
- 位置：《数据科学工程实践》第6章《对观测到的事件进行因果推断》"6.1 使用全量评估分析已发生的事件"一节（源文件：_epub-src/OEBPS/Text/part0032.xhtml）
- 结论依据：原文以分享助力领券为例说明"这种场景很难通过实验的方式进行变量控制，因为分享信息具有传导效应……这对用户体验是非常大的伤害……甚至感觉被歧视"，按奇偶日分组"用户奇数天和偶数天的行为极有可能存在相互的强影响"，最终"我们丧失了实验设计中最核心的要素——控制变量"。
- 原始内容：比如这样的场景：用户分享某个页面邀请好友点击助力，助力次数达到某值后就可以领取优惠券。这种场景很难通过实验的方式进行变量控制，因为分享信息具有传导效应……这对用户体验是非常大的伤害，也会让用户感到奇怪，甚至感觉被歧视。倘若我们按时间……用户奇数天和偶数天的行为极有可能存在相互的强影响……此时要对全量上线的策略进行评估，但我们丧失了实验设计中最核心的要素—控制变量。