知识卡片
Interleaving快速线上评估
Interleaving是为缓解海量A/B测试需求与有限线上流量矛盾而生的快速线上评估法,被用作A/B测试的预选阶段。它不把用户分成两组,而是把算法A与B的排序交替混合后同时呈现给同一组用户,用户无法分辨结果来自哪个算法,再按观看时长等指标判断优劣。混合时必须让A、B以相等概率交替领先,避免位置偏差。Netflix验证发现它只需约1%的样本就能判定优劣,且指标与A/B测试强相关。但它只能测相对偏好、无法给出真实提升幅度,展示的也不是真实产品页面,因此常与A/B测试组成两阶实验结构。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 推荐系统的评估 · 查看原书依据
这种不区分A/B组,而是把不同的被测对象同时提供给受试者,最后根据受试者喜好得出评估结果的方法就是Interleaving方法。
参考来源
- 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_005.html)
- 结论依据:原文用可乐盲测例子说明不分组可消除属性分布不均,介绍交替排名与位置偏差处理,并从灵敏度、相关性、优缺点三方面验证。
- 原始内容:这种不区分A/B组,而是把不同的被测对象同时提供给受试者,最后根据受试者喜好得出评估结果的方法就是Interleaving方法。