知识卡片

结构图卡 · 9819.a · 生成模型:DeepSeek-V4.1-Flash

分片数是效率与吞吐的取舍

理解等级:中级

ES 的索引被水平切成若干分片(shard),每个分片是一个独立的 Lucene 索引。查询是 scatter-gather:协调节点把请求发给所有分片,每个分片各返回 size 条候选,协调节点归并后取全局前 size 条。所以查 100 条、4 个分片时,实际要处理 400 条再截断,多出来的 300 条是纯粹的协调开销。

分片多:并行度高、写入能分散到更多节点,写吞吐提升;但每次查询要访问的分片多,归并与网络开销大,查询变慢,单分片还会过小。分片少:单节点压力大、数据倾斜,机器用不满。经验是按读写比定——读为主就少分片、用副本扛并发;写为主按数据总量除以单分片可承受容量。

关键约束:分片数在索引创建后不能随意改。这是一个必须提前算对的容量决策,而不是上线后再调的参数。

结构图:

flowchart TD
  C[客户端请求 top100] --> Q[协调节点]
  Q --> S1[分片1 返回100条]
  Q --> S2[分片2 返回100条]
  Q --> S3[分片3 返回100条]
  Q --> S4[分片4 返回100条]
  S1 --> M[归并400条 取全局前100]
  S2 --> M
  S3 --> M
  S4 --> M
  M --> R[返回客户端]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第11章 搜索应用实战:基于电商的搜索开发(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0147.html) - 结论依据:原文用 4 分片汇聚 400 条再取 100 条的例子说明了多分片的归并放大效应,并直接给出「分片越多查询效率越低、写性能提升」的因果结论。 - 原始内容:例如,要查询100条数据,需要在分片中查询100次数据,最后在总调度中汇聚成400条数据,再从这400条数据依据优先级取前100条数据,返回到客户端。分片数越多查询效率越低,但是写的性能会提升。