← 返回卡片

原书出处

大数据日知录_架构与算法

16 机器学习:分布式算法

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.183Z

有了上述计算两个文档相似性的公式,就可以在此基础上计算文档集合内任意两个文档的文本相似性。一种简单粗暴的方式是对任意两个文档根据公式24进行计算,但是其实我们可以按照公式25所示的思想对其进行优化。优化的基本思路是:对于任意两个文档来说,考虑任意单词t对于其相似性计算的影响,很明显,如果t在任意一个文档中没有出现,则其对两者相似性贡献为0,也即只有两个文档同时包含单词t,那么单词t才对这两者相似性有影响。如果从单词t的角度出发,如果能够记录哪些文档包含了单词t,并形成一个集合,那么对单词t来说,其只对集合中文档的两两相似性做出贡献。举个例子,假设单词t只出现在x、y和z三个文档,那么对于单词t来说,只需计算其对(x,y)、(x,z)以及(y,z)的相似性贡献即可。熟悉搜索引擎工作机制的读者会发现,记录包含单词t的文档集合其实就是搜索引擎的倒排索引。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d