知识卡片
为什么用 ES 承载推荐召回
ES(Elasticsearch)原本是搜索引擎,加上分布式与分片之后被大量用于搜索、推荐和广告系统的候选层。它被选中的理由基本是四条工程属性。
- 可实时分析:借助分布式并行,能按业务要求快速解析出统计结果,例如按标签聚合候选量。
- 可实时存储:写入时主分片保存成功还不算完,要等副分片也写成功才认为实时保存成功;同时支持批量写入,适合日志式的曝光与行为数据。
- 分布式集群:按搜索量横向扩容,可存到 PB 级,扩容即加节点。
- 快速搜索:查询并发打到 N 台机器的主/副分片,再按机器负载合并结果返回。
放到推荐链路里,它承担的是「按标签、关键词、地理范围快速捞出候选」以及向量相似度初筛这类工作,也就是召回和过滤段,而不是最终排序。判断依据很直接:ES 的打分函数表达力有限,做不了特征交叉和 CTR 模型,但它的倒排+分片让「从上亿广告里按条件取几千条」变成毫秒级操作。
边界也要说清:ES 的写入是近实时的(要等 refresh 才可搜),副分片同步保证的是持久化而非强一致读;它适合当候选索引,不适合当计费账本这类需要事务的真源。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 推荐应用实战:基于广告的推荐 · 查看原书依据
ES在某个主节点保存数据时候,只有当副分片保存成功,才能认为是实时保存成功,并且支持批量保存数据。 3)分布式集群。根据业务需求及当前的搜索量,ES可以横向扩展,支持存储最大PB级的数据,可以提高搜索速度。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第12章 推荐应用实战:基于广告的推荐(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0157.html)
- 结论依据:原文以特性清单形式说明 ES 的写入确认机制与横向扩展能力,是「适合做候选索引、不适合做事务真源」这一判断的直接依据。
- 原始内容:ES在某个主节点保存数据时候,只有当副分片保存成功,才能认为是实时保存成功,并且支持批量保存数据。 3)分布式集群。根据业务需求及当前的搜索量,ES可以横向扩展,支持存储最大PB级的数据,可以提高搜索速度。