知识卡片
搜索引擎的四个部件与两条节奏
搜索引擎被切成四块,每块解决一个独立问题:
- 搜索器:在互联网中漫游,发现并抓取页面,解决「信息从哪来」。
- 索引器:理解抓到的内容,抽取索引项,产出文档库与索引表,解决「如何让查找变快」。
- 检索器:用查询在索引库中快速检出候选,计算文档与查询的相关度并排序,解决「哪个更相关」。
- 用户接口:输入查询、展示结果、收集相关性反馈,解决「人怎么用」。
关键不在四块本身,而在它们分属两条节奏不同的链路:搜索器到索引器是离线批量更新,检索器到用户接口是在线毫秒级响应。这解释了一个常见困惑——新发布的页面为什么搜不到,因为它还没走完抓取与建索引这一轮。用户接口上的点击反馈回流到检索器,则是排序模型迭代的数据来源,也是「相关性」从静态规则走向学习信号的入口。
结构图:
flowchart TD
U[用户与查询] --> UI[用户接口]
UI --> R[检索器]
R --> IX[(索引库)]
IX --> R
R --> UI
C[搜索器:爬虫] --> IDX[索引器]
IDX --> IX
UI -.点击反馈.-> R
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 搜索系统和推荐系统常识 · 查看原书依据
搜索器的功能是在互联网中漫游,负责发现和搜集信息。索引器的功能是理解搜索器所搜索的信息,从中抽取出索引项,输出用于表示文档以及生成文档库的索引表。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第2章 搜索系统和推荐系统常识(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0027.html)
- 结论依据:原文逐一定义了搜索器与索引器的职责,并强调索引项用于表示文档、生成索引表,支撑「四部件各解决一个问题」的拆解。
- 原始内容:搜索器的功能是在互联网中漫游,负责发现和搜集信息。索引器的功能是理解搜索器所搜索的信息,从中抽取出索引项,输出用于表示文档以及生成文档库的索引表。