知识卡片
查询似然等三条路线
除布尔、向量空间和 BIM 外,还有三条数学路线。基于集合论的模糊集模型,工程落点是同义词典:它定义标引项之间的关系,用相关词扩展查询,例如查询里出现“先生”时用“老师→先生”把“老师”也纳入召回。基于代数论的潜在语义索引(LSI)把文档和查询映射到低维隐式空间,用矩阵分解压缩共现关系,缓解一义多词和词汇稀疏。基于概率统计的代表是查询似然模型:它把相关度看成“这篇文档的语言模型生成该查询”的可能性,即 P(Q|d)=Π_{w∈Q} P(w|d),w 遍历查询词,P(w|d) 是词 w 在文档 d 的模型下的概率;检索变成比较各文档生成查询的概率,排序等价于文档语言模型的估计问题。实际使用必须做平滑,否则查询中任何一个没在文档里出现的词都会让连乘变成 0。三条路线的共同点是把“词面匹配”换成“语义空间距离”或“生成概率”,代价是解释性和实现复杂度都高于 VSM。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 搜索系统中的主要算法 · 查看原书依据
查询似然模型:把相关度看成是每篇文档在对应语言下生成该查询的可能性。比如作者A和作者B写的文章用词风格很不相同,则可以通过统计各自文章中所含词汇的概率,然后判断一篇新的文章是A写的还是B写的。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0073.html)
- 结论依据:原文用作者文风判别作类比,说明查询似然把相关度定义为文档语言模型生成查询的概率,因此检索转化为文档语言模型的估计与比较。
- 原始内容:查询似然模型:把相关度看成是每篇文档在对应语言下生成该查询的可能性。比如作者A和作者B写的文章用词风格很不相同,则可以通过统计各自文章中所含词汇的概率,然后判断一篇新的文章是A写的还是B写的。