知识卡片

交叉实验:让每个单元当自己的对照组

普通读书笔记卡 · 1068.g

内容

交叉实验不是把用户切成两拨互不相干的组,而是让同一批实验单元先后依次经历不同策略,本质上让每个单元自己就是自己的对照组。这样做省去了因个体差异造成的组间背景噪音,理论上需要的样本量比传统A/B实验更少,还能在同一段时间窗口内评估多个策略、节省实验时间。但它只适用于策略效果可逆、实验单元状态能保持相对稳定的场景,不适合会产生不可逆改变的策略。

参考来源

- 位置:《数据科学工程实践》第9章《特殊场景下的实验设计和分析方法》"9.3 交叉实验"一节(源文件:_epub-src/OEBPS/Text/part0052.xhtml) - 结论依据:原文明确"交叉实验是将全集随机切分为若干实验单元,使每一个实验单元先后接受多种策略……其核心思想是每个实验单元都作为自己的对照组进行评估计算",并说明"实验设计人员需要……实验单元样本状态保持稳定"、"策略属性需要可逆转"。 - 原始内容:交叉实验是将全集随机切分为若干实验单元,使每一个实验单元先后接受多种策略,在短时间内得到策略效果的一种方法……可以说交叉实验是一种重复对不同实验单元组实施实验的设计方案,实验过程中每一个实验单元都会在不同阶段命中不同的策略,其核心思想是每个实验单元都作为自己的对照组进行评估计算……由于实验单元组需要依次接受策略,策略属性需要可逆转且实验单元样本状态保持稳定。