知识卡片
用协变量剥离方差提高小样本实验灵敏度
内容
同一份多基线实验数据，直接对原始指标做[[随机检验通过打乱切换时间点判断显著性]]可能不显著，但如果先用一个已知的协变量对指标做回归、把这部分能被协变量解释的方差剥离掉，再对回归残差做同样的随机检验，结果可能从不显著变为显著。这说明观测指标里混杂的协变量方差本身就是压低统计功效的噪音源，控制协变量是提高小样本实验灵敏度的有效手段，呼应了[[样本方差如何淹没真实效果]]这一贯穿全章的核心思路。
参考来源
- 位置：《数据科学工程实践》第9章《特殊场景下的实验设计和分析方法》"9.4.4 多基线实验的评估方法和案例"一节（源文件：_epub-src/OEBPS/Text/part0053.xhtml）
- 结论依据：原文明确"之前计算的结果并不显著，但是……因为x2是y的协变量，所以可以先用x2解释一部分y的方差……再用回归的残差……做单边随机检验……处理上线后的y指标依然比处理上线前高0.5740，但是p值为0.01，实验结果显著"，说明控制协变量后同一份数据从不显著变为显著。
- 原始内容：虽然之前计算的结果并不显著，但是这里我们要用到一个小技巧：因为x2是y的协变量，所以可以先用x2解释一部分y的方差，即ŷ=β0+β1·x2。再用回归的残差，也就是y剩余没有被解释的方差做单边随机检验……可以发现，处理上线后残差的提升很显著，这也是用x2剥离了一部分y的方差的结果……用图9-9中的残差数据再做单边随机检验，处理上线后的y指标依然比处理上线前高0.5740，但是p值为0.01，实验结果显著。