知识卡片
分片数是效率与吞吐的取舍
ES 的索引被水平切成若干分片(shard),每个分片是一个独立的 Lucene 索引。查询是 scatter-gather:协调节点把请求发给所有分片,每个分片各返回 size 条候选,协调节点归并后取全局前 size 条。所以查 100 条、4 个分片时,实际要处理 400 条再截断,多出来的 300 条是纯粹的协调开销。
分片多:并行度高、写入能分散到更多节点,写吞吐提升;但每次查询要访问的分片多,归并与网络开销大,查询变慢,单分片还会过小。分片少:单节点压力大、数据倾斜,机器用不满。经验是按读写比定——读为主就少分片、用副本扛并发;写为主按数据总量除以单分片可承受容量。
关键约束:分片数在索引创建后不能随意改。这是一个必须提前算对的容量决策,而不是上线后再调的参数。
结构图:
flowchart TD
C[客户端请求 top100] --> Q[协调节点]
Q --> S1[分片1 返回100条]
Q --> S2[分片2 返回100条]
Q --> S3[分片3 返回100条]
Q --> S4[分片4 返回100条]
S1 --> M[归并400条 取全局前100]
S2 --> M
S3 --> M
S4 --> M
M --> R[返回客户端]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
例如,要查询100条数据,需要在分片中查询100次数据,最后在总调度中汇聚成400条数据,再从这400条数据依据优先级取前100条数据,返回到客户端。分片数越多查询效率越低,但是写的性能会提升。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第11章 搜索应用实战:基于电商的搜索开发(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0147.html)
- 结论依据:原文用 4 分片汇聚 400 条再取 100 条的例子说明了多分片的归并放大效应,并直接给出「分片越多查询效率越低、写性能提升」的因果结论。
- 原始内容:例如,要查询100条数据,需要在分片中查询100次数据,最后在总调度中汇聚成400条数据,再从这400条数据依据优先级取前100条数据,返回到客户端。分片数越多查询效率越低,但是写的性能会提升。