知识卡片
A/B测试分桶正交与互斥
分桶要保证样本独立与采样无偏:同一用户全程只能进同一个桶,分桶所用的用户ID应是随机数。多组实验并行时需遵守两条原则。层与层之间流量正交:每层实验的流量穿过该层后被再次随机打散、均匀分布到下层各实验组,避免上层实验污染下层结论。同层之间流量互斥:不同实验以及实验组与对照组的流量都不重叠;对推荐系统而言还要保证同一用户始终在同一组,以维护体验一致性。正交与互斥共同保证A/B测试指标的客观性,是复用有限线上流量的前提。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 推荐系统的评估 · 查看原书依据
层与层之间的流量“正交”的具体含义为:层与层之间的独立实验的流量是正交的,即实验中每组的流量穿越该层后,都会被再次随机打散,且均匀地分布在下层实验的每个实验组中。
参考来源
- 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_004.html)
- 结论依据:原文给出分桶独立性要求,以图7-6说明层间正交、以用户重叠说明同层互斥,并强调二者共同保证指标客观。
- 原始内容:层与层之间的流量“正交”的具体含义为:层与层之间的独立实验的流量是正交的,即实验中每组的流量穿越该层后,都会被再次随机打散,且均匀地分布在下层实验的每个实验组中。