知识卡片
文档内积不自动等于余弦
以tf-IDF等构成文档向量时,内积Σₜwₜᵢwₜⱼ给出加权共词贡献;只有向量作L2归一化后,内积才等于余弦相似度。书中原图小例使用词频直接演示,长文档和重复词会放大未经归一化的分数。定义相似度前应先确定权重和归一化,不能把公式名称混用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
下面介绍如何计算两个文档的文本相似性。在文本处理任务中,一般将一个文档d在内部以特征向量W d 来表示,每个单词t对应特征向量中的一维,以W t,d 来表征单词t在文档d中的权重,单词在文档中的权重的常见计算方式是tf*IDF,即词频和逆文档频率的乘积。通过这种方式,每个文档都表达为特征向量,可以使用两个特征向量的内积来表征两个文档的文本相似性,即如下公式:
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落110,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:下面介绍如何计算两个文档的文本相似性。在文本处理任务中,一般将一个文档d在内部以特征向量W d 来表示,每个单词t对应特征向量中的一维,以W t,d 来表征单词t在文档d中的权重,单词在文档中的权重的常见计算方式是tf*IDF,即词频和逆文档频率的乘积。通过这种方式,每个文档都表达为特征向量,可以使用两个特征向量的内积来表征两个文档的文本相似性,即如下公式: