知识卡片
最小预期提升的业务门槛
实验前应说明多大的效果值得业务行动,并据此选择希望有能力检出的效应规模。MDE通常指在给定样本量、显著性和功效下可检测的最小效应;它可参考业务门槛设定,但两者概念不同。最终决策还要看效果估计、区间、成本与风险,不能只因点估计越过门槛或p值显著就直接上线。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 如何比较两个策略的效果 7.3 A/B实验应用步骤 · 查看原书依据
在进行A/B实验之前,我们需要建立一个心理预期,比如当实验组比对照组至少提升2%的效果时,才认为实验组的方案有实际价值,若没达到预期提升,实验组方案就不值得被采纳。最小预期提升(MDE)是指在实验前需要确定的实验预期提升的百分比,最小预期提升用于衡量一个实验到底有没有实际价值,只有当实验检测到的效果差异在MDE的标准之上时,我们才认为实验组的方案有实际价值,而最小样本量也是基于MDE计算的。
参考来源
- 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第7章 如何比较两个策略的效果,7.3 A/B实验应用步骤(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0040.xhtml)
- 结论依据:原文把最小业务提升用作样本量设计输入;本卡进一步区分业务行动门槛与统计可检测效应,不把点估计越线视为充分决策。
- 原始内容:在进行A/B实验之前,我们需要建立一个心理预期,比如当实验组比对照组至少提升2%的效果时,才认为实验组的方案有实际价值,若没达到预期提升,实验组方案就不值得被采纳。最小预期提升(MDE)是指在实验前需要确定的实验预期提升的百分比,最小预期提升用于衡量一个实验到底有没有实际价值,只有当实验检测到的效果差异在MDE的标准之上时,我们才认为实验组的方案有实际价值,而最小样本量也是基于MDE计算的。