知识卡片

普通读书笔记卡 · 9820.d · 生成模型:DeepSeek-V4.1-Flash

为什么用 ES 承载推荐召回

理解等级:中级

ES(Elasticsearch)原本是搜索引擎,加上分布式与分片之后被大量用于搜索、推荐和广告系统的候选层。它被选中的理由基本是四条工程属性。

  1. 可实时分析:借助分布式并行,能按业务要求快速解析出统计结果,例如按标签聚合候选量。
  2. 可实时存储:写入时主分片保存成功还不算完,要等副分片也写成功才认为实时保存成功;同时支持批量写入,适合日志式的曝光与行为数据。
  3. 分布式集群:按搜索量横向扩容,可存到 PB 级,扩容即加节点。
  4. 快速搜索:查询并发打到 N 台机器的主/副分片,再按机器负载合并结果返回。

放到推荐链路里,它承担的是「按标签、关键词、地理范围快速捞出候选」以及向量相似度初筛这类工作,也就是召回和过滤段,而不是最终排序。判断依据很直接:ES 的打分函数表达力有限,做不了特征交叉和 CTR 模型,但它的倒排+分片让「从上亿广告里按条件取几千条」变成毫秒级操作。

边界也要说清:ES 的写入是近实时的(要等 refresh 才可搜),副分片同步保证的是持久化而非强一致读;它适合当候选索引,不适合当计费账本这类需要事务的真源。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 推荐应用实战:基于广告的推荐 · 查看原书依据

      ES在某个主节点保存数据时候,只有当副分片保存成功,才能认为是实时保存成功,并且支持批量保存数据。 3)分布式集群。根据业务需求及当前的搜索量,ES可以横向扩展,支持存储最大PB级的数据,可以提高搜索速度。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第12章 推荐应用实战:基于广告的推荐(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0157.html) - 结论依据:原文以特性清单形式说明 ES 的写入确认机制与横向扩展能力,是「适合做候选索引、不适合做事务真源」这一判断的直接依据。 - 原始内容:ES在某个主节点保存数据时候,只有当副分片保存成功,才能认为是实时保存成功,并且支持批量保存数据。 3)分布式集群。根据业务需求及当前的搜索量,ES可以横向扩展,支持存储最大PB级的数据,可以提高搜索速度。