知识卡片
停用词、同义词与检索要素权重
Query 里的词并不等价。以「Java 工程师」为例,Java 限定的是技术栈,工程师只说明职业大类,前者的区分度远高于后者。若两者同权,召回会大量落入「所有工程师」这类噪声结果。因此要对检索要素逐个打分赋权,并做紧密度分析(词与词挨得越近,越可能是一个整体概念)。
围绕「该丢还是该补」,有三组方向相反的动作:
| 动作 | 作用 | 风险 |
|---|---|---|
| 屏蔽停用词 | 去掉 the、的、怎么样等无区分度的词 | 丢错词会改变语义 |
| 同义词/近义词扩展 | 提高召回覆盖,避免无结果 | 扩太宽会稀释精度 |
| 索引级扩展 | 建索引时就写入同义词,查询期零开销 | 索引膨胀,同义词更新需重建 |
关键判断是「扩展放在哪一层」:索引级扩展把成本前置到建索引,查询期只做匹配,利于统一管理;查询级扩展灵活可调,但每次请求都要多算一遍。两者都会让召回变宽,所以必须由 term 权重与后续排序把精度拉回来——扩展负责「不漏」,排序负责「不乱」。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 搜索系统框架及原理 · 查看原书依据
在信息扩展部分,我们可以在爬虫程序中定义文档间关系,甚至定义推理逻辑实现,在信息存储部分可以屏蔽停用词、定义同义词,并在建立索引的时候就支持泛化能力。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0056.html)
- 结论依据:原文把屏蔽停用词、定义同义词、索引级泛化都归入信息扩展,并指出可前移到建索引阶段,支撑「扩展有两种落点」的判断。
- 原始内容:在信息扩展部分,我们可以在爬虫程序中定义文档间关系,甚至定义推理逻辑实现,在信息存储部分可以屏蔽停用词、定义同义词,并在建立索引的时候就支持泛化能力。