知识卡片
两次MR累加共词贡献
第一轮MR按词汇集(文档ID,词权重)形成倒排;第二轮对每个词枚举其倒排列表中的无序文档对,输出(文档对,两权重乘积),再按文档对归约求和。相同文档对的键顺序须规范,避免(i,j)和(j,i)被分开;只需要Top相似项时还应另行定义筛选,原流程本身并未免除全部候选生成。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
如果文档集合较大,可以考虑使用两个连续的MR任务来完成上述计算流程。第一个MR任务是建立单词倒排索引的过程,任务的输入是文档d,Map阶段输出的Key为单词t,Value为包含这个单词的文档ID及单词权重;Reduce阶段将包含单词t的文档进行汇总,并将倒排索引写入磁盘。有了单词的倒排索引,则第二个阶段MR任务即可计算文档相似性。其输入为第一阶段MR任务输出的单词倒排索引,对于某个单词来说,Map阶段计算这个单词对其倒排索引文档集合中任意两个文档相似性的贡献,如果倒排索引中包含m 个文档,则需要 次计算。本阶段输出的Key为文档对<di ,dj >,Value为wt,i ∗wt,j 。Reduce阶段则对相同文档对的所有Value值进行累加,即累加不同单词对两个文档相似性计算的贡献,这样即可得出两个文档的整体相似性。为了说明问题,图16-6和图16-7给出了这两个MR任务的形象计算示例。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落115,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:如果文档集合较大,可以考虑使用两个连续的MR任务来完成上述计算流程。第一个MR任务是建立单词倒排索引的过程,任务的输入是文档d,Map阶段输出的Key为单词t,Value为包含这个单词的文档ID及单词权重;Reduce阶段将包含单词t的文档进行汇总,并将倒排索引写入磁盘。有了单词的倒排索引,则第二个阶段MR任务即可计算文档相似性。其输入为第一阶段MR任务输出的单词倒排索引,对于某个单词来说,Map阶段计算这个单词对其倒排索引文档集合中任意两个文档相似性的贡献,如果倒排索引中包含m 个文档,则需要 次计算。本阶段输出的Key为文档对<di ,dj >,Value为wt,i ∗wt,j 。Reduce阶段则对相同文档对的所有Value值进行累加,即累加不同单词对两个文档相似性计算的贡献,这样即可得出两个文档的整体相似性。为了说明问题,图16-6和图16-7给出了这两个MR任务的形象计算示例。