知识卡片
异步导出合并增量索引
[[索引分级兼顾新鲜度与检索效率]]需要控制各增量层的规模。文中由 dumper 导出在线索引数据,merger 离线合并到上一级:小时层定期进入日层,日层再进入全量层。合并在查询链之外运行,使小层保留快速接收更新的角色。具体合并周期取决于写入速率、可接受的索引滞后和资源预算,不能把案例中的每小时、每天当成固定规则。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《架构师之路》第56章《百度如何能实时检索到15分钟前新生成的网页?》(源文件:_epub-src/OEBPS/Text/56.html)
- 结论依据:原文明确区分 dumper 导出与 merger 合并,并给出小时层到日层、日层到全量层的异步周期案例。
- 原始内容:dumper : 将在线的数据导出 merger : 将离线的数据合并到高一级别的 索引中去 小时库,一小时一次,合并到天库中去; 天库,一天一次,合并到全量库中去