返回主题:倒排索引与查询处理

知识卡片

普通读书笔记卡 · 2338.f.1.a.1

按文档ID分桶并行求交集

理解等级:中级

两条倒排列表若按同一文档 ID 区间切成互不重叠的桶,每个桶只需与另一列表的对应桶求交集,最后合并各桶结果。

桶间互不依赖,可并行处理;前提是两边使用相同区间规则。分桶缩短单个工作单元并改善并行度,但总扫描量和分桶、合并开销仍需计入。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《架构师之路》第54章《深入浅出搜索架构引擎、方案与细节(上)》(源文件:_epub-src/OEBPS/Text/54.html) - 结论依据:原文用相同 ID 范围把两个集合拆桶,分别求交集后取各桶结果的并集,并提出多线程并行。 - 原始内容:数据量大时, url_id分桶水平切分+并行运算是一种常见的优化方法 ,如果能将list1<url_id>和list2<url_id> 分成若干个桶区间,每个区间利用多线程并行求交集