知识卡片
查询预处理的三件事
Query 进入处理链路的第一步不是理解,而是把形式上的差异抹平,否则同一个意图会被当成不同查询。典型动作:大小写统一、全角半角统一、繁简体互转、过长 Query 截断。
在归一化之前还有一道 Cache:先查该 Query 是否已有结构化结果,命中就直接返回,用来缓解后端压力。这是性价比最高的一步——热门 Query 高度集中,缓存命中率往往很高,省掉的是整条分词、纠错、意图识别链路。
归一化之后的顺序也有讲究:先分词,再用分词得到的 Term 做错误检测,然后做重要性分析与紧密度分析,对无关紧要的词执行丢词,有了 Term、权重、紧密度之后才做意图识别(分模糊与精准两类)。部分场景还要加敏感识别与时效性分析,最后对整条链路的输出做人工干预,修正负例。
易混点:归一化改的是「写法」,纠错改的是「错字」,丢词改的是「保留哪些词」——三者都会改变下游看到的 Query,但只有归一化是可逆的、无损的。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 搜索系统框架及原理 · 查看原书依据
首先是简单的预处理,大小写、全半角、繁简体转化以及对过长的Query进行截断处理,接着可能需要先对Query进行分词,使用分词的Term结果进行错误检测
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0062.html)
- 结论依据:原文给出预处理的具体动作与「先归一化、再分词、再检错」的先后顺序,支撑链路次序不可随意调换的判断。
- 原始内容:首先是简单的预处理,大小写、全半角、繁简体转化以及对过长的Query进行截断处理,接着可能需要先对Query进行分词,使用分词的Term结果进行错误检测