知识卡片
词频统计先局部后合并
分布式词频统计可把不同文件交给工人,各工人先按词生成局部次数表,工头再把同一词的次数相加。局部先聚合,减少了需要集中处理的原始文本量。示例在单机给多个工人同一个文件只是演示调用;真实总数要求各工人的输入片段不重复、也不遗漏。发散:并行化前先写清输入划分与合并规则,才能验证结果正确。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.5.4“实现Hadoop经典实例Word Count”(源文件:`_epub-src/OEBPS/text00022.html`)
- 结论依据:原文提出各机器先统计本地文件再合并,代码中工人返回局部 `HashMap`,工头遍历所有结果累加同词计数;随后澄清真实场景应使用不同机器上的不同文件。
- 原始内容:Fourinone简单实现思路:假设有n台计算机,将这n个1G数据文件放置在每台计算机上,每台计算机各自统计1G数据,然后合并得到结果。