知识卡片
余弦相似度:把文档长度除掉
把查询和文档都变成权重向量后,最直接的相似度是内积 q·d = Σ q_i d_i。但内积会被长度放大:文档越长、词越多,累加项越多,分数天然越高,于是长文档总是占优。余弦相似度除以两个向量的模长:cos(q,d) = (q·d) / (|q| |d|),其中 |q| = √(Σ q_i²),|d| = √(Σ d_i²)。几何上它等于两向量夹角的余弦,只比较方向、不比较长度;权重非负时取值在 0 到 1 之间,1 表示词项构成比例完全一致。以查询 q=(2012:1,奥运会:2) 为例:文档 d1=(2012:1,奥运会:3,伦敦:1,举行:1) 的内积为 1+6=7,模长为 √12,余弦约 0.90;文档 d2=(2008:1,奥运会:2,北京:1,举行:1) 的内积只有 4,余弦约 0.68。d1 排前,符合直觉。注意余弦把长度信息完全丢弃,而长度有时本身携带信号(长文档更可能覆盖查询),[[k1控饱和b控长度惩罚]] 因此改用文档长度做惩罚而不是简单除掉。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 搜索系统中的主要算法 · 查看原书依据
查询和文档都可以转化成标引项及其权重组成的向量,都可以看成空间的点。向量之间通过距离计算可得到查询和每个文档的相似度。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0071.html)
- 结论依据:原文把查询和文档都视为标引项权重向量、用向量距离定义相似度,这是余弦计算的前提;配合后文夹角余弦公式可推出归一化的必要性。
- 原始内容:查询和文档都可以转化成标引项及其权重组成的向量,都可以看成空间的点。向量之间通过距离计算可得到查询和每个文档的相似度。