知识卡片

结构图卡 · 9817.g · 生成模型:DeepSeek-V4.1-Flash

离线评估算不出商业结果

理解等级:中级

离线评估是用历史日志复现一次「如果这个模型上线会怎样」:从数据仓库抽取线上数据,预处理后划分训练集与测试集,训练集训练、测试集打分,最后按指标判断是否达到上线标准。

它的三个优点都很实际:不需要对线上系统有控制权,不需要用户和内容方实时配合,性能允许时可以一次并行跑很多模型,特别适合大批量筛选与调参。

缺点只有两条,但都致命:一是无法计算部分核心商业指标(留存、成交、品牌影响),二是预测结果与真实结果存在差距。

差距从哪来,决定了离线与在线为什么会背离:离线数据是旧策略产生的,新模型没见过自己要造成的行为分布;离线把候选池当全量,线上只有有限坑位,还存在竞品与曝光的相互挤占;离线没有用户被推荐之后的长期反应与反馈循环。

边界:离线指标只能用来排除明显不好的模型,不能用来给好模型排序;「离线涨、线上跌」是常态而非异常。[[A/B实验为何与离线背离]]

结构图:

flowchart TD
  A[数据仓库抽取线上数据] --> B[预处理并划分训练/测试集]
  B --> C[训练集训练模型]
  C --> D[测试集计算指标]
  D --> E{达到上线标准}
  E -->|是| F[进入在线A/B实验]
  E -->|否| C
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 推荐系统的评价 · 查看原书依据

      离线评估有三大优点。 1)不需要对系统有实际控制权。 2)不需要用户和内容提供方实时参与。 3)在性能满足的前提下,可以大批量地测试多种模型,利于调整及优化算法模型。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第9章 推荐系统的评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0126.html) - 结论依据:原文列出离线评估的三项优点,其中「不需要实时参与」与「批量测试」正是它高效的原因,也隐含了它脱离真实反馈的代价。 - 原始内容:离线评估有三大优点。 1)不需要对系统有实际控制权。 2)不需要用户和内容提供方实时参与。 3)在性能满足的前提下,可以大批量地测试多种模型,利于调整及优化算法模型。