← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1068.l · 生成模型:GPT-6(Codex)

打乱切换时间的随机检验

理解等级:未标注

[[多基线实验的前后对比]]可用随机化检验:先计算真实切换安排下的加权前后差,再在原设计允许的时间池和约束内重新随机安排切换,形成零假设比较分布。真实统计量越处于预设方向的极端尾部,证据越强。尾部比例才是p值;书中部分代码返回“真实值高于多少比例”的分位,不应同方向直接当小p值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 特殊场景下的实验设计和分析方法 9.4 强约束条件下的实验方法 · 查看原书依据

      从图9-8来看,4个实验对象在给予处理后,实验指标y略有提高但不明显。我们用单边随机检验来检验这组数据处理上线前后y的大小,处理上线后y指标比处理上线前高了0.5740,但是不显著,检验过程如代码清单9-6所示。在代码中,我们先计算了4组加权平均的处理效应,然后随机抽取开始接受处理的时间,并以此计算4组的加权平均的处理效应。重复这个过程99次,再包括最早计算的真实的处理效应,计算真实的处理效应在这100组数据中,能够高于多大占比的处理效

    参考来源

    - 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第9章 特殊场景下的实验设计和分析方法,9.4 强约束条件下的实验方法(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0053.xhtml) - 结论依据:原文明确"我们先计算了4组加权平均的处理效应,然后随机抽取开始接受处理的时间,并以此计算4组的加权平均的处理效应。重复这个过程99次,再包括最早计算的真实的处理效应,计算真实的处理效应在这100组数据中,能够高于多大占比的处理效应,这个计算的结果就是P值,可以用于判断真实处理效应的显著性"。 - 原始内容:从图9-8来看,4个实验对象在给予处理后,实验指标y略有提高但不明显。我们用单边随机检验来检验这组数据处理上线前后y的大小,处理上线后y指标比处理上线前高了0.5740,但是不显著,检验过程如代码清单9-6所示。在代码中,我们先计算了4组加权平均的处理效应,然后随机抽取开始接受处理的时间,并以此计算4组的加权平均的处理效应。重复这个过程99次,再包括最早计算的真实的处理效应,计算真实的处理效应在这100组数据中,能够高于多大占比的处理效