返回主题:批处理作业的写法:连接、聚合与作业抽象

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 2852

MapReduce分治

理解等级:未标注

MapReduce 用分而治之处理海量数据:先拆分,再对小块并行计算,最后合并,各计算任务互不关联,计算围绕已有数据展开。数据在磁盘与缓冲区之间反复转换,所以它适合数据已存在、对实时性要求不高的静态数据批处理。发散:能拆成独立子问题的任务最适合它。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式架构原理与实践》第5章《分布式计算》(源文件:_epub-src/OEBPS/Text/part0000.xhtml) - 结论依据:原文说明 MapReduce 采用分而治之:拆分、计算再合并,各计算任务并行且互不关联,适合数据已在磁盘、对实时性要求不高的静态数据。 - 原始内容:在 5.1 节中,我们对 MapReduce 的体系结构和工作流程做了介绍,可以体会到其分而治之的思想,即对大量数据进行拆分、计算然后合并,每个计算任务都是并行且互不关联的,这些数据通常是分布式系统上已经存在的,依据计算围绕数据展开的原则。