知识卡片
倒排文件、位图、签名文件是同一个稀疏矩阵的不同压缩方式
内容
把”哪些文档包含哪些词”想象成词×文档的二维矩阵,倒排索引、位图、签名文件是同一份信息的三种存储方式,区别只在如何处理稀疏性。位图逐行存完整0/1向量,等价于对文档间隔做一元编码;倒排索引只记录值为1的位置,换成更紧凑的变长编码;签名文件反过来在列方向压缩,用哈希把多词叠加进有限几个伪行,用可控错配概率换更小体积。三者没有本质信息差异,只是存储换空间或速度这一维度上的不同取舍点。
参考来源
- 位置:第3章《索引》3.6节「索引方法的比较」(源文件:_chapter-text/ch03.txt)
- 结论依据:原文明确总结倒排文件、位图、签名文件三种索引方法实质上是相同基本思想的不同变化形式,并给出彼此等价关系的具体描述,直接支持卡片核心论点。
- 原始内容:"本章讨论的3种索引方法实质上都是相同基本思想的不同变化形式。例如,倒排列表示一种用来存储单行位图的特殊的稀疏矩阵,而位片化的签名文件可以被看做是把位图压缩到有限的几行……同时位图也等价于采用一元编码对相继的单词文档间隔进行编码后的倒排文件。"