返回主题:倒排索引与查询处理

知识卡片

普通读书笔记卡 · 2338.f.4.b.1

索引分级兼顾新鲜度与检索效率

理解等级:未标注

本章把倒排索引按数据新鲜度分为全量、日增量和小时增量:更新先写较小的小时库,查询同时访问各层并合并结果,再由后台把增量逐级并入稳定索引。这样避免每次更新都改动巨大的全量索引,也让新写入的数据及时进入检索范围。层级和周期是案例配置;实际系统还需处理跨层重复、删除和更新顺序。这里讨论索引更新,不能据此断定爬虫发现新网页的时延。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《架构师之路》第56章《百度如何能实时检索到15分钟前新生成的网页?》(源文件:_epub-src/OEBPS/Text/56.html) - 结论依据:原文给出全量、日、小时三级索引及写最低层、查所有层的处理方式;末段明确 Spider 发现新网页是另一个问题。跨层冲突是该设计落地时需另行验证的边界。 - 原始内容:当有修改请求发生时, 只会操作最低级别的索引 ,例如小时库。 当有 查询 请求发生时,会 同时查询各个级别的索引 ,将 结果合并,得到最新的数据