知识卡片
离线评估算不出商业结果
离线评估是用历史日志复现一次「如果这个模型上线会怎样」:从数据仓库抽取线上数据,预处理后划分训练集与测试集,训练集训练、测试集打分,最后按指标判断是否达到上线标准。
它的三个优点都很实际:不需要对线上系统有控制权,不需要用户和内容方实时配合,性能允许时可以一次并行跑很多模型,特别适合大批量筛选与调参。
缺点只有两条,但都致命:一是无法计算部分核心商业指标(留存、成交、品牌影响),二是预测结果与真实结果存在差距。
差距从哪来,决定了离线与在线为什么会背离:离线数据是旧策略产生的,新模型没见过自己要造成的行为分布;离线把候选池当全量,线上只有有限坑位,还存在竞品与曝光的相互挤占;离线没有用户被推荐之后的长期反应与反馈循环。
边界:离线指标只能用来排除明显不好的模型,不能用来给好模型排序;「离线涨、线上跌」是常态而非异常。[[A/B实验为何与离线背离]]
结构图:
flowchart TD
A[数据仓库抽取线上数据] --> B[预处理并划分训练/测试集]
B --> C[训练集训练模型]
C --> D[测试集计算指标]
D --> E{达到上线标准}
E -->|是| F[进入在线A/B实验]
E -->|否| C
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 推荐系统的评价 · 查看原书依据
离线评估有三大优点。 1)不需要对系统有实际控制权。 2)不需要用户和内容提供方实时参与。 3)在性能满足的前提下,可以大批量地测试多种模型,利于调整及优化算法模型。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第9章 推荐系统的评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0126.html)
- 结论依据:原文列出离线评估的三项优点,其中「不需要实时参与」与「批量测试」正是它高效的原因,也隐含了它脱离真实反馈的代价。
- 原始内容:离线评估有三大优点。 1)不需要对系统有实际控制权。 2)不需要用户和内容提供方实时参与。 3)在性能满足的前提下,可以大批量地测试多种模型,利于调整及优化算法模型。