知识卡片
停用词的压缩经济学
内容
“as”“of”这类高频停用词的引用列表极其庞大，早期索引编撰者倾向直接排除以省空间。但是否索引停用词不该由存储成本决定，而应由检索完整性决定——排除意味着预先替使用者判断”这个词不会被检索”，这种预判常常是错的。压缩技术成熟后矛盾消解：停用词引用虽占索引条目三成左右，压缩后只让索引膨胀约4%。这是用工程手段消除产品设计两难的典型案例。
参考来源
- 位置：第1章《概览》1.3节《索引》（源文件：_epub-src/OEBPS/text00007.html）
- 结论依据：原文引用Furness夫人关于莎士比亚“to do”一词研究的例子说明不应预先判断停用词无用，并给出停用词占引用30%但压缩后仅增大索引4%的具体数字，与卡片论述的“压缩消解产品两难”完全吻合。
- 原始内容："她提到了一个德国学者，他出版了一本关于莎士比亚如何使用动词“to do”的研究专著……尽管一些停用词也许能够占用索引包含的全部引用的30％左右，但是只需相对小的空间就有能表示它们。第3章论述的压缩技术是如此高效，以至于索引这些停用词仅仅增大了索引文件长度的4％。"