知识卡片
AB实验的正交与空箱机制
跨层级 AB 实验需保证”正交”。典型坑:召回层与精排层用同一哈希函数打散时,精排已拟合基线召回的用户分布,新召回实验进来的用户精排没见过,效果被压低、难超基线。解决是对每次进入当前层的用户用新的哈希函数重新打散,消除上层偏置。空箱机制防”偏置闪现”:推全一个有效新实验时,应长期(≥3 个月)保留一部分置信流量跑旧实验作对照。原因:某些未知因素(疫情、地震)使线上分布变化,新模型恰拟合了该分布、线上线下指标都高;一旦因素消失、分布恢复,效果会大跌——空箱保留旧实验可及早发现此类偏置闪现。原则:线上无小事,谨慎为上。相关卡见 [[AB实验的分层与流量分箱]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 为推荐系统选择评价指标 4.5 怎么设计合理的AB实验 · 查看原书依据
上面介绍的仅是同一层级的AB实验方法,那么对于不同层级(如召回层和精排层),为了 保证其实验的可靠性和正交 ,我们应该对每次进入当前层级的用户 用新的哈希函数进行打散 ,确保这一层的用户分箱不受上一层的影响
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第4章《为推荐系统选择评价指标》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/45.html;src-028)
- 结论依据:原文指出不同层须用新哈希函数打散以保证正交,并以召回/精排同哈希导致新实验失效为例;又定义空箱机制与"偏置闪现"及 3 个月保留期,支撑本卡。
- 原始内容:上面介绍的仅是同一层级的AB实验方法,那么对于不同层级(如召回层和精排层),为了 保证其实验的可靠性和正交 ,我们应该对每次进入当前层级的用户 用新的哈希函数进行打散 ,确保这一层的用户分箱不受上一层的影响