← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9909.i · 生成模型:Hunyuan

A/B测试分桶正交与互斥

理解等级:高级

分桶要保证样本独立与采样无偏:同一用户全程只能进同一个桶,分桶所用的用户ID应是随机数。多组实验并行时需遵守两条原则。层与层之间流量正交:每层实验的流量穿过该层后被再次随机打散、均匀分布到下层各实验组,避免上层实验污染下层结论。同层之间流量互斥:不同实验以及实验组与对照组的流量都不重叠;对推荐系统而言还要保证同一用户始终在同一组,以维护体验一致性。正交与互斥共同保证A/B测试指标的客观性,是复用有限线上流量的前提。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 推荐系统的评估 · 查看原书依据

      层与层之间的流量“正交”的具体含义为:层与层之间的独立实验的流量是正交的,即实验中每组的流量穿越该层后,都会被再次随机打散,且均匀地分布在下层实验的每个实验组中。

    参考来源

    - 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_004.html) - 结论依据:原文给出分桶独立性要求,以图7-6说明层间正交、以用户重叠说明同层互斥,并强调二者共同保证指标客观。 - 原始内容:层与层之间的流量“正交”的具体含义为:层与层之间的独立实验的流量是正交的,即实验中每组的流量穿越该层后,都会被再次随机打散,且均匀地分布在下层实验的每个实验组中。