原书出处
大数据日知录_架构与算法
16 机器学习:分布式算法
下面介绍如何计算两个文档的文本相似性。在文本处理任务中,一般将一个文档d在内部以特征向量W d 来表示,每个单词t对应特征向量中的一维,以W t,d 来表征单词t在文档d中的权重,单词在文档中的权重的常见计算方式是tf*IDF,即词频和逆文档频率的乘积。通过这种方式,每个文档都表达为特征向量,可以使用两个特征向量的内积来表征两个文档的文本相似性,即如下公式:
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d