知识卡片
搜索写入与检索分成两条链路
搜索分为两条链路:
- 写入侧取得文档并建立索引;全网输入可由爬虫抓取,站内输入可由内部发布系统提供。
- 检索侧分词、查倒排候选,再排序返回。
两种搜索主要差在数据进入索引链路的方式。这个划分让索引生成与在线查询分别承担吞吐和响应时延目标。
结构图:
flowchart LR
A[全网爬虫] --> B[网页库]
B --> C[建立正排与倒排索引]
I[站内发布] --> C
C --> D[倒排索引]
E[用户查询] --> F[查询分词]
F --> G[检索候选]
D --> G
G --> H[排序并返回]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《架构师之路》第54章《深入浅出搜索架构引擎、方案与细节(上)》(源文件:_epub-src/OEBPS/Text/54.html)
- 结论依据:原文明确将全网搜索分为写入与检索流程,并比较全网爬虫抓取和站内发布系统推送的数据入口。
- 原始内容:站内搜索引擎的宏观架构如上图,与全网搜索引擎的宏观架构相比, 差异只有写入的地方 : (1) 全网搜索需要spider要被动去抓取数据 (2) 站内搜索是内部系统生成的数据