知识卡片
向量空间模型要回答的三个问题
向量空间模型(VSM)把查询和文档都表示成同一组标引项上的权重向量,相关性就变成向量间的距离。构建时要回答三个问题。第一,标引项选什么:可以是字、词、短语、N-gram 或语义单元;全量标引维度太高,实际会用去停用词、英文词干还原、只取名词、只保留高频词等降维手段。第二,权重怎么算:最简单是布尔权重(出现记 1、不出现记 0),常用的是 TF-IDF。第三,相似度怎么算:用内积或余弦。模型还隐含一个独立性假设——标引项在文档中彼此独立,这与语言事实不符(“苹果”和“乔布斯”经常共现),是它理论上的薄弱处。VSM 的价值在于支持部分匹配、结果可排序、实现直观,因此长期作为检索基线;代价是权重公式多来自经验,缺乏统一的理论推导。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 搜索系统中的主要算法 · 查看原书依据
VSM模型构建中需要解决三个关键问题:标引项(Term)的选择、权重计算(即计算每篇文档中每个标引项的权重)、查询和文档的相似度计算。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0071.html)
- 结论依据:原文明确列出 VSM 的三个构建环节,后文的降维策略、TF-IDF 权重和相似度计算正是对这三点的展开。
- 原始内容:VSM模型构建中需要解决三个关键问题:标引项(Term)的选择、权重计算(即计算每篇文档中每个标引项的权重)、查询和文档的相似度计算。