知识卡片
近离线计算缓解粗排压力
当某些业务的用户特征和物料特征更新不那么频繁时,粗排还可以走”近离线计算”这条路:不在线实时打分,而是每隔一段时间(如 30 分钟)用精排模型对所有”用户×物料”算一次分,把这份带延时的打分直接当成粗排的打分用。等于把粗排的活儿提前离线批量做完,在线几乎零成本。
但它有明显前提和代价:这份打分是滞后的,必须持续衡量它与真实精排打分的差距,并实时监控。一旦差距过大,就要触发降级策略(切回在线计算或缩小近离线分数的使用范围),否则会用过时的分数误导整条链路。
适用边界:只适合特征变化慢、能容忍分钟级延迟的场景;对实时性要求高的信息流这类就不合适。相关卡见 [[粗排并行化与列计算加速]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 粗排层的样本选择和模型选择 9.2 工程优化 · 查看原书依据
对于一些对用户和物料特征更新不那么频繁的业务场景,我们可以采用近离线计算直接用精排模型对所有物料打分。具体的做法是,每隔一段时间(如30min)计算每个用户和每个物料的打分,然后将这种有延时的打分作为粗排模型的打分。但是这种方法必须衡量与真实精排模型打分的差距,并且需要实时监控,一旦出现打分差距过大的情况,就需要考虑降级策略。
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第9章《工程优化》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/123.html;src-057)
- 结论依据:原文提出对特征更新不频繁的业务可用近离线计算以精排模型定期给全量物料打分作为粗排打分,并强调需衡量与真实精排差距、实时监控并在差距过大时降级。
- 原始内容:对于一些对用户和物料特征更新不那么频繁的业务场景,我们可以采用近离线计算直接用精排模型对所有物料打分。具体的做法是,每隔一段时间(如30min)计算每个用户和每个物料的打分,然后将这种有延时的打分作为粗排模型的打分。但是这种方法必须衡量与真实精排模型打分的差距,并且需要实时监控,一旦出现打分差距过大的情况,就需要考虑降级策略。