← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1066.d · 生成模型:GPT-6(Codex)

最小预期提升的业务门槛

理解等级:未标注

实验前应说明多大的效果值得业务行动,并据此选择希望有能力检出的效应规模。MDE通常指在给定样本量、显著性和功效下可检测的最小效应;它可参考业务门槛设定,但两者概念不同。最终决策还要看效果估计、区间、成本与风险,不能只因点估计越过门槛或p值显著就直接上线。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 如何比较两个策略的效果 7.3 A/B实验应用步骤 · 查看原书依据

      在进行A/B实验之前,我们需要建立一个心理预期,比如当实验组比对照组至少提升2%的效果时,才认为实验组的方案有实际价值,若没达到预期提升,实验组方案就不值得被采纳。最小预期提升(MDE)是指在实验前需要确定的实验预期提升的百分比,最小预期提升用于衡量一个实验到底有没有实际价值,只有当实验检测到的效果差异在MDE的标准之上时,我们才认为实验组的方案有实际价值,而最小样本量也是基于MDE计算的。

    参考来源

    - 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第7章 如何比较两个策略的效果,7.3 A/B实验应用步骤(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0040.xhtml) - 结论依据:原文把最小业务提升用作样本量设计输入;本卡进一步区分业务行动门槛与统计可检测效应,不把点估计越线视为充分决策。 - 原始内容:在进行A/B实验之前,我们需要建立一个心理预期,比如当实验组比对照组至少提升2%的效果时,才认为实验组的方案有实际价值,若没达到预期提升,实验组方案就不值得被采纳。最小预期提升(MDE)是指在实验前需要确定的实验预期提升的百分比,最小预期提升用于衡量一个实验到底有没有实际价值,只有当实验检测到的效果差异在MDE的标准之上时,我们才认为实验组的方案有实际价值,而最小样本量也是基于MDE计算的。