← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9813.d · 生成模型:DeepSeek-V4.1-Flash

余弦相似度:把文档长度除掉

理解等级:中级

把查询和文档都变成权重向量后,最直接的相似度是内积 q·d = Σ q_i d_i。但内积会被长度放大:文档越长、词越多,累加项越多,分数天然越高,于是长文档总是占优。余弦相似度除以两个向量的模长:cos(q,d) = (q·d) / (|q| |d|),其中 |q| = √(Σ q_i²),|d| = √(Σ d_i²)。几何上它等于两向量夹角的余弦,只比较方向、不比较长度;权重非负时取值在 0 到 1 之间,1 表示词项构成比例完全一致。以查询 q=(2012:1,奥运会:2) 为例:文档 d1=(2012:1,奥运会:3,伦敦:1,举行:1) 的内积为 1+6=7,模长为 √12,余弦约 0.90;文档 d2=(2008:1,奥运会:2,北京:1,举行:1) 的内积只有 4,余弦约 0.68。d1 排前,符合直觉。注意余弦把长度信息完全丢弃,而长度有时本身携带信号(长文档更可能覆盖查询),[[k1控饱和b控长度惩罚]] 因此改用文档长度做惩罚而不是简单除掉。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0071.html) - 结论依据:原文把查询和文档都视为标引项权重向量、用向量距离定义相似度,这是余弦计算的前提;配合后文夹角余弦公式可推出归一化的必要性。 - 原始内容:查询和文档都可以转化成标引项及其权重组成的向量,都可以看成空间的点。向量之间通过距离计算可得到查询和每个文档的相似度。