知识卡片

普通读书笔记卡 · 2338.f.4.b.1.a

异步导出合并增量索引

理解等级:未标注

[[索引分级兼顾新鲜度与检索效率]]需要控制各增量层的规模。文中由 dumper 导出在线索引数据,merger 离线合并到上一级:小时层定期进入日层,日层再进入全量层。合并在查询链之外运行,使小层保留快速接收更新的角色。具体合并周期取决于写入速率、可接受的索引滞后和资源预算,不能把案例中的每小时、每天当成固定规则。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《架构师之路》第56章《百度如何能实时检索到15分钟前新生成的网页?》(源文件:_epub-src/OEBPS/Text/56.html) - 结论依据:原文明确区分 dumper 导出与 merger 合并,并给出小时层到日层、日层到全量层的异步周期案例。 - 原始内容:dumper : 将在线的数据导出 merger : 将离线的数据合并到高一级别的 索引中去 小时库,一小时一次,合并到天库中去; 天库,一天一次,合并到全量库中去