知识卡片
索引一旦压缩，停用词过滤的收益就大幅缩水
内容
未压缩的倒排文件里，去掉最高频的一百多个停用词能省下四分之一空间。但一旦索引本身被压缩，这笔账就变了：高频词恰恰是压缩编码处理得最好的部分——文档间隔极小，用Golomb编码几乎能压到极限，去掉它们省下的空间早被编码阶段吃掉大半。TREC实测：停用词占未压缩索引四分之一体积，压缩后合计不到10MB，而整个压缩索引才93MB左右，省下空间不成比例地小，却要付出丧失查询这些词的代价。
参考来源
- 位置：第3章《索引》「去除停用词」小节（源文件：_chapter-text/ch03.txt）
- 结论依据：原文用TREC文档集的具体数字说明未压缩时去掉停用词能省四分之一空间，但压缩后停用词本身编码开销很小、全部压缩索引仅93MB，去除收益被大幅稀释，直接支持卡片论点。
- 原始内容："在未压缩的索引中，可以通过去掉这些高频术语节约四分之一的倒排文件空间……如果倒排文件按照压缩的形式存储，那么去掉停用词的价值并不会特别显著……因为全部的TREC倒排文件在压缩后占用了也不过仅仅是93MB。"