← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7173.o · 生成模型:Tencent Hunyuan Hy

索引切分与结果偏差

理解等级:高级

搜索引擎扩展分两步。读写分离先解决并发:每个query server各存一份完整索引,由dump server周期性生成、合并段后推送替换,前端按Hash均衡分发请求,可横向加机器。量大到单机存不下时,按uniquekey%N把索引切分到多台index server,请求先到merge server分发检索并合并结果返回,merge server需高可用以免成新单点。切分并非无损:排序时各分片只能先各自排好取topN再上报合并,合并出的全局topN与全局真实排序可能有偏差,这是为性能付出的正确性代价,只能业务取舍。这与分库分表的困境是同一类权衡。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 分布式系统基础设施 2.4 垂直化搜索引擎 · 查看原书依据

      当然,索引切分的方案并非完美,可能也会带来一些问题。举例来说,假如查询请求需要进行结果排序,当索引没有切分时很好处理,只需要按照查询指定的条件排列即可,但是对切分后的索引来说,排序请求将被分发到每一台index server执行排序,排完以后取topN(出于性能考虑)发送到merge server进行合并,合并后的结果与真正的结果很可能存在偏差,这就需要在业务上进行取舍。 图2

    参考来源

    - 位置:《大型分布式网站架构设计与实践》第2章《2.4 垂直化搜索引擎》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0007_split_004.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `6b17e8ae39ba9d3082d863cc25fb1d874604b7173bc0245503e7a8afffeed684`) - 结论依据:原文『合并后的结果与真正的结果很可能存在偏差,这就需要在业务上进行取舍』直接点明索引切分后的正确性权衡。 - 原始内容:当然,索引切分的方案并非完美,可能也会带来一些问题。举例来说,假如查询请求需要进行结果排序,当索引没有切分时很好处理,只需要按照查询指定的条件排列即可,但是对切分后的索引来说,排序请求将被分发到每一台index server执行排序,排完以后取topN(出于性能考虑)发送到merge server进行合并,合并后的结果与真正的结果很可能存在偏差,这就需要在业务上进行取舍。 图2