知识卡片
把文档变成可定位索引
结构化数据有固定格式和有限长度,比如数据库表、元数据,可以直接用 SQL 按字段筛选;非结构化数据是邮件、HTML、Word 这类长度不固定、没有固定格式的文本,没有字段可查,只能顺序扫描——一个文档一个文档地读,逐行看到底。数据量一上来这条路就走不通:500GB 的源文件按这种方式可能要扫几个小时甚至几天。
替代思路是把「找文档」换成「查表」:先对每个文档分词,记录「词 → 出现在哪些文档、出现几次」,这张表就是倒排表,所有词的集合叫词典;查询时把查询词分别取出对应的文档集合求交集,就得到结果。这个「先建索引、再对索引检索」的过程就是全文检索,和查新华字典先按拼音或部首定位、再翻到正文是同一个道理。
代价也要认:建索引要额外存储和写入开销;分词粒度、停用词策略一旦选错,该被搜到的文档就搜不到。而且倒排索引只擅长「按词查」,遇到任意子串、正则匹配这类需求,仍然只能扫描或另建专门的结构。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 搜索引擎工具 · 查看原书依据
所谓顺序扫描,即一个文档一个文档查,逐行扫描,直到扫描完成为止。对于一个500GB或者更大的源文件,按照这种方式处理,可能需要花费几个小时甚至数天的时间。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第10章 搜索引擎工具(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0133.html)
- 结论依据:原文用 500GB 文件需数小时甚至数天这一量级,说明顺序扫描在真实数据规模下不可行,从而支撑「先把文档建成索引再检索」的结论。
- 原始内容:所谓顺序扫描,即一个文档一个文档查,逐行扫描,直到扫描完成为止。对于一个500GB或者更大的源文件,按照这种方式处理,可能需要花费几个小时甚至数天的时间。