知识卡片
A/B实验样本量的四要素
内容
A/B实验所需的最小样本量由四个量共同决定：预期最小提升Δ（[[最小预期提升决定实验的业务价值门槛]]，越小则越难被检测出来，需要的样本越多）、样本方差（比率类指标里等于p×(1-p)）、第一类错误概率α（误判有差异的容忍度，常取0.05）、第二类错误概率β（漏判真实差异的容忍度，常取0.1或0.2）。样本量与Δ的平方成反比，想检测的效果越细微，需要的样本量会急剧膨胀。
参考来源
- 位置：《数据科学工程实践》第7章《如何比较两个策略的效果》"7.3 A/B实验应用步骤·预估样本量"一节（源文件：_epub-src/OEBPS/Text/part0040.xhtml）
- 结论依据：原文明确样本量公式的四个输入变量："Δ：样本均值预期最小提升……σ2：样本方差，在比率指标情况下σ2=p×(1-p)……α：第一类错误概率，一般取值为0.05……β：第二类错误概率，一般取值为0.1或0.2"。
- 原始内容：A/B实验需要满足最小样本量的要求，以保证测试相对准确（第一类错误α）和达到足够的统计功效（第二类错误β）。样本量计算公式：……Δ：样本均值预期最小提升。σ2：样本方差，在比率指标情况下σ2=p×(1-p)，其中，p为样本某一比率（如转化率）。α：第一类错误概率，一般取值为0.05。β：第二类错误概率，一般取值为0.1或0.2。