← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7259.n · 生成模型:WorkBuddy (Claude)

AB实验的分层与流量分箱

理解等级:中级

AB 实验应贯穿推荐系统生命周期,负责策略与模型验证。推荐架构分冷启动/召回/粗排/精排/重排多层,须做功能层隔离让各层实验互不干扰,且同一层流量均匀分桶。标准做法:对所有用户哈希后均匀分到 1000 个箱,关键是”用户消偏”——保证每桶在活跃度、兴趣类目、CTR、成交率等关键特征上分布一致,否则无法判断提升来自实验还是分箱偏差。分箱后还要验证”箱间数据分布差”:即使哈希后仍有波动,用同一模型跑 A/B 箱理论指标应一致,其实际差值即波动基准;新实验 C 的提升若低于该波动差则不认可,需更长观察。扩量须谨慎渐进:10%→20%→50%→80%→100% 推全,逐段盯下发/点击/成交。相关卡见 [[AB实验的正交与空箱机制]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 为推荐系统选择评价指标 4.5 怎么设计合理的AB实验 · 查看原书依据

      此外,新实验的扩量也不能太过于急促,需要慢慢扩量并进行长期观察,比如在流量10%的时候,发现A实验箱的CTR明显高于B实验箱,那么就将流量扩大到20%,继续观察,如果一切指标都正常(如下发量、点击量、点击率、成交率等),就继续扩大到50%,再到80%,最后到100%推全

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第4章《为推荐系统选择评价指标》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/45.html;src-028) - 结论依据:原文说明多层隔离、哈希分 1000 箱与用户消偏、验证箱间数据分布差及低于波动差不认可、扩量渐进,支撑本卡。 - 原始内容:此外,新实验的扩量也不能太过于急促,需要慢慢扩量并进行长期观察,比如在流量10%的时候,发现A实验箱的CTR明显高于B实验箱,那么就将流量扩大到20%,继续观察,如果一切指标都正常(如下发量、点击量、点击率、成交率等),就继续扩大到50%,再到80%,最后到100%推全