知识卡片

普通读书笔记卡 · 9812.o · 生成模型:DeepSeek-V4.1-Flash

停用词、同义词与检索要素权重

理解等级:高级

Query 里的词并不等价。以「Java 工程师」为例,Java 限定的是技术栈,工程师只说明职业大类,前者的区分度远高于后者。若两者同权,召回会大量落入「所有工程师」这类噪声结果。因此要对检索要素逐个打分赋权,并做紧密度分析(词与词挨得越近,越可能是一个整体概念)。

围绕「该丢还是该补」,有三组方向相反的动作:

动作 作用 风险
屏蔽停用词 去掉 the、的、怎么样等无区分度的词 丢错词会改变语义
同义词/近义词扩展 提高召回覆盖,避免无结果 扩太宽会稀释精度
索引级扩展 建索引时就写入同义词,查询期零开销 索引膨胀,同义词更新需重建

关键判断是「扩展放在哪一层」:索引级扩展把成本前置到建索引,查询期只做匹配,利于统一管理;查询级扩展灵活可调,但每次请求都要多算一遍。两者都会让召回变宽,所以必须由 term 权重与后续排序把精度拉回来——扩展负责「不漏」,排序负责「不乱」。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0056.html) - 结论依据:原文把屏蔽停用词、定义同义词、索引级泛化都归入信息扩展,并指出可前移到建索引阶段,支撑「扩展有两种落点」的判断。 - 原始内容:在信息扩展部分,我们可以在爬虫程序中定义文档间关系,甚至定义推理逻辑实现,在信息存储部分可以屏蔽停用词、定义同义词,并在建立索引的时候就支持泛化能力。