← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9817.j · 生成模型:DeepSeek-V4.1-Flash

交错实验把样本需求降百倍

理解等级:高级

当算法迭代速度超过可用流量时,A/B 会成为瓶颈:每个实验都要独占一份流量跑够样本。Interleaving 换了个思路——把两个算法对同一个用户的推荐结果混排成一个列表:A 组第 1 名、B 组第 1 名、A 组第 2 名……交叉插入。用户看到的每条结果都能追溯到来源算法,统计各来源的点击即可比较优劣。

公平性要求:谁排前面的机会必须均等,A1B1 的排列数量要与 B1A1 相当,否则位置偏置会被误读成算法优劣。

收益来自配对:同一用户同时给两个算法贡献信号,个体差异被抵消,所需样本大幅下降——原文给出的量级是达到 5% 误差率时,样本需求约为同等 A/B 实验的百分之一。因此它适合第一阶段批量初筛,再由 A/B 做最终验证。

边界:混排列表不对应任何真实策略,所以留存率、总时长这类整体指标无法分组归因;实现也比 A/B 复杂得多。若网站的核心指标正是留存,仍应选 A/B,哪怕更慢更贵。[[A/B实验为何与离线背离]]

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 推荐系统的评价 · 查看原书依据

      而Interleaving可以确定的是当前的推荐结果来自A、B组,且交叉互异。这里需要明确的是,Interleaving中A、B组在混排的时候应该平均地给两组以同等概率的优先权,即A1、B1的排序方式数量应该相当于B1、A1的排序方式数量。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第9章 推荐系统的评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0127.html) - 结论依据:原文交代了混排「交叉互异」与「同等概率优先权」两个前提,既解释了小样本为何有效,也暴露了整体指标无法归因的局限。 - 原始内容:而Interleaving可以确定的是当前的推荐结果来自A、B组,且交叉互异。这里需要明确的是,Interleaving中A、B组在混排的时候应该平均地给两组以同等概率的优先权,即A1、B1的排序方式数量应该相当于B1、A1的排序方式数量。