知识卡片
离线评单目标线上评多目标
离线评估分两块。
效率:看响应时间与空间占用。同样一次查询,正排索引与倒排索引的内存差别很大,布尔检索与正文检索的开销也不同;模型的复杂度必须落在系统能给的时间限度内。 效果:把排序结果与标准结果比对。准确率、召回率描述列表里命中与漏掉的比例;F 值是二者的调和平均,专门惩罚短板;MAP 把相关文档出现的位置计入;nDCG 对相关度分级并按位置打折,是评价头部排序最常用的指标;ROC 与 AUC 用于正负样本不均衡时的整体判别能力。
真正的难点在线上:离线每个模型只优化单一目标,线上却要把点击、转化、成交等目标加权融合成一个最终顺序,权重本身是业务判断,不是算法能推出来的结论。所以离线指标只是代理指标,离线涨点不等于线上收益,必须靠实验验证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
在算法实现阶段,每一个模型都是单一目标的实现。但是,由于业务场景的需要,线上评估有可能是多目标融合结果的评估。 离线实验对搜索排序的评价主要侧重两个方面:效率评价和效果评价。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第11章 搜索应用实战:基于电商的搜索开发(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0150.html)
- 结论依据:原文点明离线模型是单一目标、线上评估是多目标融合,并把离线评价划分为效率与效果两类,支撑「离线是代理、线上是加权」的结论。
- 原始内容:在算法实现阶段,每一个模型都是单一目标的实现。但是,由于业务场景的需要,线上评估有可能是多目标融合结果的评估。 离线实验对搜索排序的评价主要侧重两个方面:效率评价和效果评价。