知识卡片
四组件与它们之间的回路
搜索系统对外只有「输入框—结果页」,内部是四段流水线。信息收集负责爬虫抓全网数据与线下导入(定义、定理等规范描述常靠线下补充);信息存储保存原文与倒排索引,并在需要推理的场景对关键词、字段、短语做特殊处理;信息扩展通过停用词、同义词、文档间关系与推理逻辑,避免「搜不到」;搜索计算生成 Query、解析 Query、召回并排序。
四者不是单向管道:存储要向计算返回命中位置、命中频次、整体结果的统计与分布,因为排序阶段的特征基本由存储提供;扩展既可以发生在建索引时(同义词直接写进词典,即索引级扩展),也可以发生在查询时(对检索要素加权)。这条分工决定了优化的落点——要提召回就动扩展,要提精度就动计算,要降延迟就动存储。
边界:把扩展放在存储之前(索引级)利于统一管理和修改,但代价是索引体积膨胀、同义词更新要重建索引;放在 Query 之后则灵活,却要多一次查询期计算。
结构图:
flowchart TD
C[信息收集:爬虫/线下导入] --> S[信息存储:原文+倒排索引]
Q[用户 Query] --> D[搜索计算:生成与解析]
D --> E[信息扩展:停用词/同义词/加权]
E --> S
S --> D
D --> R[排序结果]
S -.召回不足时退回.-> E
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 搜索系统框架及原理 · 查看原书依据
搜索系统通常由信息收集、信息存储、信息扩展及搜索计算4部分组成。搜索系统的具体结构如图4-1所示。 (1)信息收集 该部分包括但不限于爬虫和线下导入。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0056.html)
- 结论依据:原文给出四组件的划分并说明扩展既可放在爬虫与存储侧、也可放在 Query 侧,支撑「同一套职责、两种摆放位置」的架构判断。
- 原始内容:搜索系统通常由信息收集、信息存储、信息扩展及搜索计算4部分组成。搜索系统的具体结构如图4-1所示。 (1)信息收集 该部分包括但不限于爬虫和线下导入。