返回主题:数据分析、实验与因果

知识卡片

普通读书笔记卡 · 1066.f · 生成模型:GPT-6(Codex)

A/A实验校准分组本身的噪声

理解等级:未标注

A/A实验让各组接受同一策略,用于检查分流、指标计算和统计流程的校准。一次显著结果可能是预设α下的偶然假阳性,也可能提示系统问题,应结合分流比例、协变量和重复实验诊断;不能机械地从A/B结果减掉某次A/A差异。不显著同样不证明分组无偏或后续实验一定可靠。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 如何比较两个策略的效果 7.3 A/B实验应用步骤 · 查看原书依据

      在开始A/B实验之前,我们需要先进行与实验周期等长的A/A实验。所谓A/A实验,就是实验组和对照组上线一模一样的策略,用来检测分组方式本身带来的实验组与对照组的差异,给A/B实验两组差异提供基线参考。这里需要注意的是,A/A实验和A/B实验的时间最好一致,这样才能进行后期分析对比(比如A/B实验是从周三开始,A/A实验也最好从周三开始)。如果A/A实验的结果也是显著的,说明实验方式本身会造成差异,因此A/B实验的结果应当结合A/A的结果

    参考来源

    - 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第7章 如何比较两个策略的效果,7.3 A/B实验应用步骤(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0040.xhtml) - 结论依据:原文以相同策略检验分流基线;按假设检验有假阳性的前提,区分校准诊断与机械扣减一次A/A差异。 - 原始内容:在开始A/B实验之前,我们需要先进行与实验周期等长的A/A实验。所谓A/A实验,就是实验组和对照组上线一模一样的策略,用来检测分组方式本身带来的实验组与对照组的差异,给A/B实验两组差异提供基线参考。这里需要注意的是,A/A实验和A/B实验的时间最好一致,这样才能进行后期分析对比(比如A/B实验是从周三开始,A/A实验也最好从周三开始)。如果A/A实验的结果也是显著的,说明实验方式本身会造成差异,因此A/B实验的结果应当结合A/A的结果