知识卡片

结构图卡 · 9909.k · 生成模型:Hunyuan

推荐系统多层评估体系

理解等级:高级

推荐系统评估不是若干方法的堆砌,而是兼顾效率与正确性的分层体系。底层是传统离线评估,候选模型数量巨大,侧重评估效率,快速排除不可行思路。往上依次是Replay在离线最大限度仿真线上、Interleaving建立快速线上筛选环境。越接近正式上线,对评估正确性的要求越严格,最终以最贴近真实产品体验的A/B测试产生有说服力的在线指标。整个体系呈金字塔形,用有限资源快速筛出更优模型,在评测效率与正确性之间取得平衡。

结构图:

flowchart TD
    A[离线评估] --> B[Replay 仿真评估]
    B --> C[Interleaving 快速筛选]
    C --> D[AB测试 线上验证]
    D --> E[模型正式上线]
    F[底层候选多 侧重评估效率] -.-> A
    G[顶层候选少 侧重正确性] -.-> D
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 推荐系统的评估 · 查看原书依据

      越是底层,越存在更多待筛选的模型和待验证的改进想法。由于数量巨大,“评估效率”就成了更关键的考虑因素,对评估“正确性”的要求就没有那么苛刻,这时就应该使用效率更高的离线评估方法。

    参考来源

    - 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_006.html) - 结论依据:原文说明线上测试受流量与时长限制、离线测试是退而求其次的选择,并提出多层评估体系与金字塔式模型筛选过程。 - 原始内容:越是底层,越存在更多待筛选的模型和待验证的改进想法。由于数量巨大,“评估效率”就成了更关键的考虑因素,对评估“正确性”的要求就没有那么苛刻,这时就应该使用效率更高的离线评估方法。