← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9812.j · 生成模型:DeepSeek-V4.1-Flash

查询预处理的三件事

理解等级:初级

Query 进入处理链路的第一步不是理解,而是把形式上的差异抹平,否则同一个意图会被当成不同查询。典型动作:大小写统一、全角半角统一、繁简体互转、过长 Query 截断。

在归一化之前还有一道 Cache:先查该 Query 是否已有结构化结果,命中就直接返回,用来缓解后端压力。这是性价比最高的一步——热门 Query 高度集中,缓存命中率往往很高,省掉的是整条分词、纠错、意图识别链路。

归一化之后的顺序也有讲究:先分词,再用分词得到的 Term 做错误检测,然后做重要性分析与紧密度分析,对无关紧要的词执行丢词,有了 Term、权重、紧密度之后才做意图识别(分模糊与精准两类)。部分场景还要加敏感识别与时效性分析,最后对整条链路的输出做人工干预,修正负例。

易混点:归一化改的是「写法」,纠错改的是「错字」,丢词改的是「保留哪些词」——三者都会改变下游看到的 Query,但只有归一化是可逆的、无损的。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0062.html) - 结论依据:原文给出预处理的具体动作与「先归一化、再分词、再检错」的先后顺序,支撑链路次序不可随意调换的判断。 - 原始内容:首先是简单的预处理,大小写、全半角、繁简体转化以及对过长的Query进行截断处理,接着可能需要先对Query进行分词,使用分词的Term结果进行错误检测