知识卡片
查询快慢看索引在不在堆外
ES 的查询成本几乎全在「索引是否在内存里」。倒排索引、正排索引、向量数据被加载到堆外内存,命中就是纯内存查;未命中就要读磁盘并回填,SSD 只能降低单次代价,不能消除这个层次差。由此可以推出一组互相配合的运维动作:
- 关闭 swap:内存紧张时热点页被换到磁盘,延迟会恶化一个数量级。
- 预热:上线前把词典与常用索引读进内存,避免首批请求全部落盘。
- 慎用 _source:返回时要按文档 ID 反序列化 JSON,CPU 开销明显。
- 合并段:一次查询要对每个段各查一遍,段太多就是多轮 I/O;但合并极耗 CPU,应避开高峰。
- 缓存分查询缓存、请求缓存、结构缓存,配小了没命中率,配大了拖长 GC。
统一判断标准:优化 ES 就是让每次查询碰磁盘的次数逼近零,其他参数都服务于这个目标。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
2)索引不能只依靠磁盘,即使是SSD,查询一次的代价也是昂贵的。对于高并发,ES会加载索引到堆外内存,包括倒排索引、正排索引、向量信息。整个查询过程会使用堆外内存查询。如果堆外内存不存在索引,再去磁盘查询,同时写入堆外内存;
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第11章 搜索应用实战:基于电商的搜索开发(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0147.html)
- 结论依据:原文明确说明高并发下索引被加载到堆外内存供查询使用、未命中才回磁盘并回填,这构成了把「碰磁盘次数」当作 ES 性能成本模型的前提。
- 原始内容:2)索引不能只依靠磁盘,即使是SSD,查询一次的代价也是昂贵的。对于高并发,ES会加载索引到堆外内存,包括倒排索引、正排索引、向量信息。整个查询过程会使用堆外内存查询。如果堆外内存不存在索引,再去磁盘查询,同时写入堆外内存;