知识卡片
随机检验：通过打乱切换时间点判断显著性
内容
[[多基线实验在各自时间轴上前后对比]]的显著性检验不依赖传统的正态分布假设，而是用随机检验：先算出真实切换时间点下、处理期均值减控制期均值的加权效应，再反复随机打乱每个对象的”切换时间点”重新计算这个效应，重复上百次形成一个模拟分布，最后看真实效应在这个模拟分布里排位多靠前。排位越靠前（越极端），说明真实效应越不可能是随机切换巧合导致的，也就越显著。
参考来源
- 位置：《数据科学工程实践》第9章《特殊场景下的实验设计和分析方法》"9.4.4 多基线实验的评估方法和案例"一节（源文件：_epub-src/OEBPS/Text/part0053.xhtml）
- 结论依据：原文明确"我们先计算了4组加权平均的处理效应，然后随机抽取开始接受处理的时间，并以此计算4组的加权平均的处理效应。重复这个过程99次，再包括最早计算的真实的处理效应，计算真实的处理效应在这100组数据中，能够高于多大占比的处理效应，这个计算的结果就是P值，可以用于判断真实处理效应的显著性"。
- 原始内容：从图9-8来看，4个实验对象在给予处理后，实验指标y略有提高但不明显。我们用单边随机检验来检验这组数据处理上线前后y的大小……在代码中，我们先计算了4组加权平均的处理效应，然后随机抽取开始接受处理的时间，并以此计算4组的加权平均的处理效应。重复这个过程99次，再包括最早计算的真实的处理效应，计算真实的处理效应在这100组数据中，能够高于多大占比的处理效应，这个计算的结果就是P值，可以用于判断真实处理效应的显著性。