← 返回卡片

原书出处

大数据日知录_架构与算法

16 机器学习:分布式算法

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.169Z

如果文档集合较大,可以考虑使用两个连续的MR任务来完成上述计算流程。第一个MR任务是建立单词倒排索引的过程,任务的输入是文档d,Map阶段输出的Key为单词t,Value为包含这个单词的文档ID及单词权重;Reduce阶段将包含单词t的文档进行汇总,并将倒排索引写入磁盘。有了单词的倒排索引,则第二个阶段MR任务即可计算文档相似性。其输入为第一阶段MR任务输出的单词倒排索引,对于某个单词来说,Map阶段计算这个单词对其倒排索引文档集合中任意两个文档相似性的贡献,如果倒排索引中包含m 个文档,则需要 次计算。本阶段输出的Key为文档对<di ,dj >,Value为wt,i ∗wt,j 。Reduce阶段则对相同文档对的所有Value值进行累加,即累加不同单词对两个文档相似性计算的贡献,这样即可得出两个文档的整体相似性。为了说明问题,图16-6和图16-7给出了这两个MR任务的形象计算示例。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d