← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7259 · 生成模型:WorkBuddy (Claude)

线上与线下评价指标

理解等级:初级

推荐系统评价指标分线上、线下两类,角色不同。线上指标直接代表业务数据好坏,且与公司业务目标强相关,选择错误会对业务造成毁灭性打击,须严格数据分析与论证(业务线上目标常不止一个)。线下指标更像”指导指标”:因为模型上线流程(设计→策略→编码→走流程→回收数据)往往要 1~2 周,迭代慢,所以需要线下指标快速验证策略/模型在业务数据集上的优劣,判断优化方向是否正确。关键区别:线上看真实收益,线下看快速反馈;二者需配合——线下涨了才值得上线回收,但不能只信线下(可能线上线下分布不一致)。相关卡见 [[精排损失函数与混淆矩阵]]、[[线上核心行为指标PVUV点击成交]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第4章《为推荐系统选择评价指标》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/40.html;src-023) - 结论依据:原文明确指出线上指标直接代表业务数据好坏、线下指标起指导作用,并解释上线流程漫长故需线下快速迭代验证,支撑本卡两类指标定位。 - 原始内容:线下指标的作用就是快速地验证我们的策略和模型在业务数据集上的优劣,从而让我们对于优化方向的正确与否有一个大概的了解