返回主题:数据分析、实验与因果

知识卡片

普通读书笔记卡 · 1066.e · 生成模型:GPT-6(Codex;本轮出处修订)

A/B实验样本量的四要素

理解等级:未标注

A/B实验所需的最小样本量由四个量共同决定:预期最小提升Δ([[最小预期提升的业务门槛]],越小则越难被检测出来,需要的样本越多)、样本方差(比率类指标里等于p×(1-p))、第一类错误概率α(误判有差异的容忍度,常取0.05)、第二类错误概率β(漏判真实差异的容忍度,常取0.1或0.2)。样本量与Δ的平方成反比,想检测的效果越细微,需要的样本量会急剧膨胀。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 如何比较两个策略的效果 7.3 A/B实验应用步骤 · 查看原书依据

      A/B实验需要满足最小样本量的要求,以保证测试相对准确(第一类错误α)和达到足够的统计功效(第二类错误β)。样本量计算公式: 其中, Δ:样本均值预期最小提升。 σ2:样本方差,在比率指标情况下σ2=p×(1-p),其中,p为样本某一比率(如转化率)。 α:第一类错误概率,一般取值为0.05。 β:第二类错误概率,一般取值为0.1或0.2。 z:正态分布累计概率为x时对应的分位数。

    参考来源

    - 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第7章 如何比较两个策略的效果,7.3 A/B实验应用步骤(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0040.xhtml) - 结论依据:原文明确样本量公式的四个输入变量:"Δ:样本均值预期最小提升……σ2:样本方差,在比率指标情况下σ2=p×(1-p)……α:第一类错误概率,一般取值为0.05……β:第二类错误概率,一般取值为0.1或0.2"。 - 原始内容:A/B实验需要满足最小样本量的要求,以保证测试相对准确(第一类错误α)和达到足够的统计功效(第二类错误β)。样本量计算公式: 其中, Δ:样本均值预期最小提升。 σ2:样本方差,在比率指标情况下σ2=p×(1-p),其中,p为样本某一比率(如转化率)。 α:第一类错误概率,一般取值为0.05。 β:第二类错误概率,一般取值为0.1或0.2。 z:正态分布累计概率为x时对应的分位数。