知识卡片
索引前的三种转换：都在拿准确率换召回率
内容
建索引前通常做三种转换，本质都是”主动模糊化”以扩大查全率，但都要承担误伤代价。大小写折叠让”Data”和”data”能被同一查询命中，但会混淆本该区分的专有名词。词根化把单词归约到词干，让不同词形能被命中，但会引入语境不同的匹配。停用词过滤把高频词剔除以省空间，代价是彻底丧失查询这些词的能力。这也是为什么作者更倾向保留停用词、只在查询侧按需忽略——不可逆决策应尽量往后推。
参考来源
- 位置：第3章《索引》3.1节「三种转换」（源文件：_chapter-text/ch03.txt）
- 结论依据：原文依次说明大小写折叠、词根化、停用词过滤三种转换各自的收益与误伤代价，并明确提出保留停用词、只在查询时忽略的立场，直接支持卡片论点。
- 原始内容："第1类转换是我们都耳熟能详的大小写折叠……第2类转换……是将单词规约到其词根……最后一类转换……是将停用词……去除……本书倾向的方法是索引应该索引全部术语，如果在查询一端需要提速，那么只需要在查询时忽略停用词即可。"