知识卡片

结构图卡 · 2852.f

MapReduce的分而治之编程模型与五步骤抽象

理解等级:未标注

MapReduce要解决的根本问题是:自己动手写分布式多线程程序(数据切分、跨机器传输中间结果、机器故障处理、动态扩容)技术上可行,但开发成本极高,用户大部分精力都花在与业务逻辑无关的分布式细节上。MapReduce的解法是把这些分布式细节全部抽象成公共模块交由运行时环境实现,用户只需要按照”回调函数”的方式实现map()和reduce()两个函数——MapReduce框架在合适的时机主动调用它们,处理数据切分、传输、并行化等所有复杂性。这个编程模型可以拆解成五个步骤:先迭代遍历输入数据、解析成对;再把每个映射(map)成另一批;然后依key对中间数据分组(grouping);再以组为单位归约(reduce);最后把结果迭代写入输出文件。前两步对应Map阶段(多个并行Map Task,各自处理一个数据分片),后两步对应Reduce阶段(多个并行Reduce Task,对各Map Task产生的结果做汇总规约)。把计算过程拆成这五个标准步骤带来的最大价值是”组件化与并行化”——因为每一步的输入输出形态都是统一的对,框架就能在这些步骤之间自由插入并行化、容错、排序等通用机制,而不需要理解用户的具体业务逻辑。可迁移启发:把一类问题拆解成”输入解析→变换→分组→聚合→输出”这样一条统一形态的流水线,是让”通用基础设施能力”和”业务特定逻辑”解耦、从而能被系统性并行化和优化的常见前提。

结构图:

flowchart LR
  A["1.迭代解析输入→<key,value>"] --> B["2.map()映射→新<key,value>"]
  B --> C["3.按key分组(grouping)"]
  C --> D["4.reduce()归约"]
  D --> E["5.迭代写出结果"]
  subgraph MapPhase["Map阶段(多个并行Map Task)"]
    A
    B
  end
  subgraph ReducePhase["Reduce阶段(多个并行Reduce Task)"]
    C
    D
    E
  end
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》之"10.2 MapReduce编程模型"(源文件:_epub-src/OEBPS/text00080.html) - 结论依据:原文说明"MapReduce模型是对大量分布式处理问题的总结和抽象,它的核心思想是分而治之……总结起来,MapReduce编程模型实际上是一种包含5个步骤的分布式计算方法:1)迭代……2)将输入<key,value>对映射(map)……3)依据key对中间数据进行分组(grouping)……4)以组为单位对数据进行归约(reduce)……5)迭代……MapReduce将计算过程分解成以上5个步骤带来的最大好处是组件化与并行化", 直接支撑本卡结构图与结论。 - 原始内容:MapReduce的出现,使得用户可以把主要精力放在设计数据处理算法上,至于其他的分布式问题,包括节点间的通信、节点失效、数据切分、任务并行化等,全部由MapReduce运行时环境完成,用户无需关心这些细节。