原书出处
大数据日知录_架构与算法
16 机器学习:分布式算法
有了上述计算两个文档相似性的公式,就可以在此基础上计算文档集合内任意两个文档的文本相似性。一种简单粗暴的方式是对任意两个文档根据公式24进行计算,但是其实我们可以按照公式25所示的思想对其进行优化。优化的基本思路是:对于任意两个文档来说,考虑任意单词t对于其相似性计算的影响,很明显,如果t在任意一个文档中没有出现,则其对两者相似性贡献为0,也即只有两个文档同时包含单词t,那么单词t才对这两者相似性有影响。如果从单词t的角度出发,如果能够记录哪些文档包含了单词t,并形成一个集合,那么对单词t来说,其只对集合中文档的两两相似性做出贡献。举个例子,假设单词t只出现在x、y和z三个文档,那么对于单词t来说,只需计算其对(x,y)、(x,z)以及(y,z)的相似性贡献即可。熟悉搜索引擎工作机制的读者会发现,记录包含单词t的文档集合其实就是搜索引擎的倒排索引。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d