返回主题:数据分析、实验与因果

知识卡片

普通读书笔记卡 · 1067 · 生成模型:GPT-6(Codex;本轮出处修订)

样本方差如何淹没真实效果

理解等级:未标注

[[A/B实验样本量的四要素]]的公式里,样本方差越大,检测同样大小效果所需的样本量就越大;如果实际样本量不够,真实存在的策略效果就会被组内本身的差异(比如高频用户和低频用户购买频次天差地别)淹没,导致p值不显著,误以为策略没用。想让实验更”灵敏”,关键不总是加大流量,也可以想办法降低实验对象本身的背景噪音,也就是压缩组内方差。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 提高实验效能 第8章 提高实验效能 · 查看原书依据

      然而,实验效果可能因为表现得不够明显,就观察不到了。这是为什么呢?我们可以从统计分析的角度进行解释:我们先回顾一下第7章双样本T检验中用到的样本量计算公式,可以发现,当策略的最小可检测提升量(MDE)保持不变时,实验样本方差(s2)越大,计算出来的样本量需求(N)就越大,实验结束后假设检验得到的p-value较大,很容易发生不能拒绝原假设的情况。所以,如果在实验设计的过程中减少不必要的实验样本方差,就可以使实验设计更加有效,让之前被背景

    参考来源

    - 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第8章 提高实验效能,第8章 提高实验效能(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0043.xhtml) - 结论依据:原文明确"当策略的最小可检测提升量(MDE)保持不变时,实验样本方差(s2)越大,计算出来的样本量需求(N)就越大,实验结束后假设检验得到的p-value较大,很容易发生不能拒绝原假设的情况",并说明"如果在实验设计的过程中减少不必要的实验样本方差,就可以使实验设计更加有效,让之前被背景噪音淹没的策略差异更容易被检测出来"。 - 原始内容:然而,实验效果可能因为表现得不够明显,就观察不到了。这是为什么呢?我们可以从统计分析的角度进行解释:我们先回顾一下第7章双样本T检验中用到的样本量计算公式,可以发现,当策略的最小可检测提升量(MDE)保持不变时,实验样本方差(s2)越大,计算出来的样本量需求(N)就越大,实验结束后假设检验得到的p-value较大,很容易发生不能拒绝原假设的情况。所以,如果在实验设计的过程中减少不必要的实验样本方差,就可以使实验设计更加有效,让之前被背景