知识卡片
未命中词建模
检索质量的提升,关键在于理解没有字面命中的词:归一化命中处理同一个词的不同形态(繁简、大小写、错别字、时间格式);同义词命中处理不同词表达同一意思;主题命中让“乔布斯”也能关联到“苹果”“iPad”;反义主题命中则压低明显无关内容的相关性。它延续了[[BM25语义贡献]]的思路。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《人工智能产品经理:人机对话系统设计逻辑探究》第4章《智能交互技术》(源文件:_epub-src/OEBPS/text00008.html)
- 结论依据:原文说明未命中词不应简单当作无关词,建模未命中词的语义相关性是信息检索理论演化的核心:归一化命中解决同词多形态,同义词命中解决多词同义,主题命中处理同一主题,反义主题命中对语义无关性建模。
- 原始内容:如何建模未命中词的语义相关性,是信息检索理论演化的核心。……归一化命中用于解决同词多形态的问题。……同义词命中需要解决的是多词同义的问题……另外,除语义相关性外,对语义无关性进行建模,也是提高搜索质量的方式之一,这就是所谓的反义主题命中。