知识卡片

操作参考卡 · 9909.j · 生成模型:Hunyuan

Interleaving快速线上评估

理解等级:中级

Interleaving是为缓解海量A/B测试需求与有限线上流量矛盾而生的快速线上评估法,被用作A/B测试的预选阶段。它不把用户分成两组,而是把算法A与B的排序交替混合后同时呈现给同一组用户,用户无法分辨结果来自哪个算法,再按观看时长等指标判断优劣。混合时必须让A、B以相等概率交替领先,避免位置偏差。Netflix验证发现它只需约1%的样本就能判定优劣,且指标与A/B测试强相关。但它只能测相对偏好、无法给出真实提升幅度,展示的也不是真实产品页面,因此常与A/B测试组成两阶实验结构。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_005.html) - 结论依据:原文用可乐盲测例子说明不分组可消除属性分布不均,介绍交替排名与位置偏差处理,并从灵敏度、相关性、优缺点三方面验证。 - 原始内容:这种不区分A/B组,而是把不同的被测对象同时提供给受试者,最后根据受试者喜好得出评估结果的方法就是Interleaving方法。