知识卡片
全文检索的核心矛盾:存储空间与检索速度
内容
全文检索要同时解决存储空间(靠压缩)和检索速度(靠索引)两个问题,二者存在张力——索引本身占空间,一味追求压缩率又会牺牲随机访问速度。难点不是把某一项做到极致,而是让两者配合:把索引和正文一起压缩到不足原文一半大小,仍能在有限磁盘访问内完成任意关键词组合检索。这正是压缩与索引必须当作同一个设计问题、而非两个独立子系统的原因。
参考来源
- 位置:第1章《概览》1.4/1.5节前导论述(源文件:_epub-src/OEBPS/text00007.html)
- 结论依据:原文明确指出本书主要主题是压缩与索引技术的结合,二者共同解决存储空间与检索时间两大问题,且最引人注目的成果是压缩且索引后的文本只有原文一半大小仍能极快检索,直接支持卡片对'张力'与'必须联合设计'的论断。
- 原始内容:"本书最重要的主题是压缩技术和索引技术的结合,这两项技术共同解决了文档检索中的两个主要的问题,即存储海量文本所需要的空间和检索文本所需要的时间……采用这些方法最引人注目的成果就是任意给定一个文本,生成一个压缩且索引的版本后只是原文本大小的一半,并且能够以极快的速度检索任意的术语组合。"