知识卡片
索引量是一根双向杠杆
索引量是搜索引擎抓取页面后,经分析筛选、真正能被用户搜到的页面数量;收录量只是被抓取和分析过的页面数量。收录在前、索引在后,没被收录就不可能被索引,两个数字不能混用:索引量衡量的是可检索覆盖面。
覆盖面有代价。以 Lucene 为例,索引是对固定分析字段拆词后建立的倒排结构,内容主要是词、词在文本中的位置和文本标号。一次外部请求的耗时可以拆成四段:外部与集群通信、主节点分析重构请求、主节点与子节点通信、子节点遍历索引。索引量增大会直接抬高后两段,并提高对服务器 I/O 的要求。
因此索引量不是越大越好,而要在磁盘容量、延迟目标和覆盖需求之间定规模;工程上用主集群、备份集群、备用集群分担请求压力,也是在这一约束下换稳定性。
结构图:
sequenceDiagram
participant C as 客户端
participant M as 主节点
participant S as 子节点
participant I as 索引
C->>M: 请求传输(第1段耗时)
M->>S: 分析重构后分发(第2、3段)
S->>I: 遍历索引(第4段)
I-->>S: 候选结果
S-->>M: 结果回传
M-->>C: 合并处理后返回
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 搜索系统评价 · 查看原书依据
所谓“索引量”,就是搜索引擎抓取到页面后,经过分析筛选可以被用户搜索到的页面的数量。所以索引量越大,搜索引擎的数据覆盖范围越广。索引量经常和收录量混淆,收录量是搜索引擎抓取过、分析过的页面。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第6章 搜索系统评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0085.html)
- 结论依据:原文用定义区分索引量与收录量,并指出索引量越大覆盖越广,为“覆盖面与耗时同源”的判断提供了定义依据。
- 原始内容:所谓“索引量”,就是搜索引擎抓取到页面后,经过分析筛选可以被用户搜索到的页面的数量。所以索引量越大,搜索引擎的数据覆盖范围越广。索引量经常和收录量混淆,收录量是搜索引擎抓取过、分析过的页面。