知识卡片

普通读书笔记卡 · 2740.e

深分页天然昂贵

理解等级:未标注

分片存储的搜索引擎做深分页很贵:请求第 N 页时,每个分片都要把前 from+size 条结果交给协调节点,协调节点在内存中归并排序后才截出那一页。例如 5 个分片查第 10000 条起的 10 条,要处理 50050 条记录,页越深越慢。Elasticsearch 可用 max_result_window 限制深度,或用 search_after 按上一页最后的排序值往后翻,代替跳页。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战》第2章《查询分离》(源文件:_epub-src/Cong Cheng Xu Yuan Dao Jia Gou Shi _Da Shu Ju Liang , Huan Cun , Gao Bing Fa , Wei Fu Wu , Duo Tuan Dui Xie Tong Deng He Xin Chang Jing Shi Zhan_split_003.html) - 结论依据:原文说明Elasticsearch查询分Query Phase和Fetch Phase,带from和size时集群要给协调节点返回分片数×(from+size)条数据在单机排序;如5个分片查from=10000、size=10,协调节点要在内存计算50050条记录;可用max_result_window限制,或用search_after按上一页排序值查询。 - 原始内容:在Elasticsearch查询过程中,如果search方法带有from和size参数,Elasticsearch集群需要给协调节点返回分片数*(from+size)条数据,然后在单机上进行排序,最后给客户端返回size大小的数据。……也就是说,协调节点需要在内存中计算10010*5=50050条记录,所以在系统使用中,用户分页越深查询速度会越慢……这个search_after里的值,就是上次查询结果排序字段的结果值。