返回主题:倒排索引与查询处理

知识卡片

结构图卡 · 2338.f.3

搜索写入与检索分成两条链路

理解等级:中级

搜索分为两条链路:

  • 写入侧取得文档并建立索引;全网输入可由爬虫抓取,站内输入可由内部发布系统提供。
  • 检索侧分词、查倒排候选,再排序返回。

两种搜索主要差在数据进入索引链路的方式。这个划分让索引生成与在线查询分别承担吞吐和响应时延目标。

结构图:

flowchart LR
  A[全网爬虫] --> B[网页库]
  B --> C[建立正排与倒排索引]
  I[站内发布] --> C
  C --> D[倒排索引]
  E[用户查询] --> F[查询分词]
  F --> G[检索候选]
  D --> G
  G --> H[排序并返回]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《架构师之路》第54章《深入浅出搜索架构引擎、方案与细节(上)》(源文件:_epub-src/OEBPS/Text/54.html) - 结论依据:原文明确将全网搜索分为写入与检索流程,并比较全网爬虫抓取和站内发布系统推送的数据入口。 - 原始内容:站内搜索引擎的宏观架构如上图,与全网搜索引擎的宏观架构相比, 差异只有写入的地方 : (1) 全网搜索需要spider要被动去抓取数据 (2) 站内搜索是内部系统生成的数据