知识卡片

普通读书笔记卡 · 1781.b.1

文档内积不自动等于余弦

理解等级:中级

以tf-IDF等构成文档向量时,内积Σₜwₜᵢwₜⱼ给出加权共词贡献;只有向量作L2归一化后,内积才等于余弦相似度。书中原图小例使用词频直接演示,长文档和重复词会放大未经归一化的分数。定义相似度前应先确定权重和归一化,不能把公式名称混用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:分布式算法 · 查看原书依据

      下面介绍如何计算两个文档的文本相似性。在文本处理任务中,一般将一个文档d在内部以特征向量W d 来表示,每个单词t对应特征向量中的一维,以W t,d 来表征单词t在文档d中的权重,单词在文档中的权重的常见计算方式是tf*IDF,即词频和逆文档频率的乘积。通过这种方式,每个文档都表达为特征向量,可以使用两个特征向量的内积来表征两个文档的文本相似性,即如下公式:

    参考来源

    - 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落110,OEBPS/text00021.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:下面介绍如何计算两个文档的文本相似性。在文本处理任务中,一般将一个文档d在内部以特征向量W d 来表示,每个单词t对应特征向量中的一维,以W t,d 来表征单词t在文档d中的权重,单词在文档中的权重的常见计算方式是tf*IDF,即词频和逆文档频率的乘积。通过这种方式,每个文档都表达为特征向量,可以使用两个特征向量的内积来表征两个文档的文本相似性,即如下公式: