返回主题:框架与集成:Storm、Spark 与消息系统怎么接
此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
普通读书笔记卡 · 2852
MapReduce分治
理解等级:未标注
MapReduce 用分而治之处理海量数据:先拆分,再对小块并行计算,最后合并,各计算任务互不关联,计算围绕已有数据展开。数据在磁盘与缓冲区之间反复转换,所以它适合数据已存在、对实时性要求不高的静态数据批处理。发散:能拆成独立子问题的任务最适合它。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处
参考来源
- 位置:《分布式架构原理与实践》第5章《分布式计算》(源文件:_epub-src/OEBPS/Text/part0000.xhtml)
- 结论依据:原文说明 MapReduce 采用分而治之:拆分、计算再合并,各计算任务并行且互不关联,适合数据已在磁盘、对实时性要求不高的静态数据。
- 原始内容:在 5.1 节中,我们对 MapReduce 的体系结构和工作流程做了介绍,可以体会到其分而治之的思想,即对大量数据进行拆分、计算然后合并,每个计算任务都是并行且互不关联的,这些数据通常是分布式系统上已经存在的,依据计算围绕数据展开的原则。