知识卡片
实验不能看到显著就立即喊停
实验早期显著性可能随样本积累反复变化,UI变化还可能有短期新鲜感。如果反复查看普通固定样本检验并一显著就停,会改变假阳性控制。应按预定样本量、周期与分析方案结束;需要连续决策时采用匹配的序贯方法。异常事件的排除或延长也需规则和记录,不能为了获得显著而临时拉长。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 如何比较两个策略的效果 7.3 A/B实验应用步骤 · 查看原书依据
进行A/B实验时很容易犯的一个错误就是看到实验结果可信就立即停止实验。这个做法是错误的,对于很多实验来讲,实验前段时期的显著性是在显著和不显著之间波动的,特别是对于UI改版,这种用户有直观感知的运营方案,实验组的任何改变都会引起用户的特别注意,因此需要足够的样本量和更长的实验周期涵盖实验前期的波动,直到显著性趋于平稳。此外,如果实验过程中出现异常事件,例如异常天气等,可能需要延长实验周期以获取更多有效样本。
参考来源
- 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第7章 如何比较两个策略的效果,7.3 A/B实验应用步骤(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0040.xhtml)
- 结论依据:原文明确"进行A/B实验时很容易犯的一个错误就是看到实验结果可信就立即停止实验……实验前段时期的显著性是在显著和不显著之间波动的,特别是对于UI改版……需要足够的样本量和更长的实验周期涵盖实验前期的波动,直到显著性趋于平稳。此外,如果实验过程中出现异常事件……可能需要延长实验周期以获取更多有效样本"。
- 原始内容:进行A/B实验时很容易犯的一个错误就是看到实验结果可信就立即停止实验。这个做法是错误的,对于很多实验来讲,实验前段时期的显著性是在显著和不显著之间波动的,特别是对于UI改版,这种用户有直观感知的运营方案,实验组的任何改变都会引起用户的特别注意,因此需要足够的样本量和更长的实验周期涵盖实验前期的波动,直到显著性趋于平稳。此外,如果实验过程中出现异常事件,例如异常天气等,可能需要延长实验周期以获取更多有效样本。