知识卡片
按文档ID分桶并行求交集
两条倒排列表若按同一文档 ID 区间切成互不重叠的桶,每个桶只需与另一列表的对应桶求交集,最后合并各桶结果。
桶间互不依赖,可并行处理;前提是两边使用相同区间规则。分桶缩短单个工作单元并改善并行度,但总扫描量和分桶、合并开销仍需计入。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《架构师之路》第54章《深入浅出搜索架构引擎、方案与细节(上)》(源文件:_epub-src/OEBPS/Text/54.html)
- 结论依据:原文用相同 ID 范围把两个集合拆桶,分别求交集后取各桶结果的并集,并提出多线程并行。
- 原始内容:数据量大时, url_id分桶水平切分+并行运算是一种常见的优化方法 ,如果能将list1<url_id>和list2<url_id> 分成若干个桶区间,每个区间利用多线程并行求交集