知识卡片
指标与随机化单位要对齐
设计实验时先写清目标、处理、实验单元和指标的分子分母。用户级随机化下,同一用户的多次打开或点击通常相关,不能把每次行为都当独立样本来放大样本量。点击率、下单率及PV/UV口径也不能混用。评估周期既要满足有效样本需求,也应覆盖业务周期,预先固定核心指标及判断规则。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 如何比较两个策略的效果 7.3 A/B实验应用步骤 · 查看原书依据
如果一个实验的核心指标是用户浏览–下单率(浏览用户数/下单用户数),那么这个实验的实验对象就是用户,实验周期内有过App使用行为的用户数就是这个实验的样本量。 如果一个实验的核心指标是App浏览–下单率(浏览频次/下单数),那么实验周期内App总共被打开的次数是这个实验的样本量,这里需要特别注意。 在这个例子中,核心指标是App浏览–下单率,所以实验周期内的用户数是这个实验的样本量。 已知实验目标人群过去两周平均每日打开App的次数约为50000次,若分成4组做实验,每组流量不一致,则需要保证流量最小的那组达到最小样本量的需求。举个例子,如果流量最小的那组占总流量的20%,那么流量最小的组平均每日打开App的次数约为50000×20%=10000。由于每组所需最小样本量为26000,则实验天数为26000÷10000≈3天。由于周天数会影响实验效果,所以建议实验取整周时间,将实验周期定为一周,同期避免其他可能的活动和实验干扰。
参考来源
- 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第7章 如何比较两个策略的效果,7.3 A/B实验应用步骤(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0040.xhtml)
- 结论依据:原文从样本量推实验周期并区分人数/次数;其部分比率文字分子分母颠倒,故明确须按业务口径核对。
- 原始内容:如果一个实验的核心指标是用户浏览–下单率(浏览用户数/下单用户数),那么这个实验的实验对象就是用户,实验周期内有过App使用行为的用户数就是这个实验的样本量。 如果一个实验的核心指标是App浏览–下单率(浏览频次/下单数),那么实验周期内App总共被打开的次数是这个实验的样本量,这里需要特别注意。 在这个例子中,核心指标是App浏览–下单率,所以实验周期内的用户数是这个实验的样本量。 已知实验目标人群过去两周平均每日打开App的次数约为50000次,若分成4组做实验,每组流量不一致,则需要保证流量最小的那组达到最小样本量的需求。举个例子,如果流量最小的那组占总流量的20%,那么流量最小的组平均每日打开App的次数约为50000×20%=10000。由于每组所需最小样本量为26000,则实验天数为26000÷10000≈3天。由于周天数会影响实验效果,所以建议实验取整周时间,将实验周期定为一周,同期避免其他可能的活动和实验干扰。