知识卡片

结构图卡 · 2852.f.1

MapReduce五大可编程组件的职责划分

理解等级:未标注

MapReduce把[[MapReduce的分而治之编程模型与五步骤抽象]]中的五个抽象步骤,进一步落实成五个可编程组件,且刻意区分了哪些组件”必须由用户实现”、哪些”框架已有默认实现、够用就不用管”。Mapper封装Map阶段的核心处理逻辑,通常由用户实现;有Reduce阶段时,Reducer负责规约逻辑并由用户实现。Map-only作业没有Reducer。InputFormat负责两件事:按某种策略把输入数据切分成多个split(split数直接决定Map Task数量,因为每个split对应一个Map Task)、以及把给定的split解析成一系列——框架自带TextInputFormat(按行解析文本,key是偏移量、value是行内容)、SequenceFileInputFormat等默认实现,绝大多数场景直接复用即可。Partitioner负责决定Mapper产生的每一对该交给哪个Reduce Task处理,直接影响Reduce阶段的负载均衡,默认的HashPartitioner用key的哈希值取模决定分区,能保证相同key必然进同一个Reducer。OutputFormat对称于InputFormat,负责把最终的写成指定格式的输出文件。除了这五类可编程组件外,还有一个可选的性能优化组件Combiner——它可以理解为运行在Map Task本地的”迷你Reducer”,逻辑通常和Reducer一样,作用是先在本地对Mapper的输出做一次局部聚合,减少后续网络传输和磁盘写入的数据量、减轻真正Reducer的计算压力。可迁移启发:设计一个需要高度定制化的处理框架时,可以借鉴这种分层——把”业务逻辑必须由使用者提供”的部分和”通用机制框架可以给出合理默认实现”的部分明确切分开,让用户只需要在真正需要定制的地方花心思。

结构图:

flowchart TB
  A["五大可编程组件"]
  A --> M["Mapper(核心处理逻辑)<br/>核心处理逻辑"]
  A --> R["Reducer(有Reduce阶段时实现)<br/>核心规约逻辑"]
  A --> I["InputFormat(通常用默认)<br/>数据切分成split+解析成<key,value>"]
  A --> P["Partitioner(通常用默认HashPartitioner)<br/>决定<key,value>交给哪个Reducer"]
  A --> O["OutputFormat(通常用默认)<br/>结果写成指定格式文件"]
  A --> C["Combiner(可选优化组件)<br/>Map端本地预聚合,减少网络与磁盘IO"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》之"10.2.2 MapReduce编程组件"(源文件:_epub-src/OEBPS/text00080.html) - 结论依据:原文说明"Hadoop MapReducer对外提供了5个可编程组件,分别是InputFormat、Mapper、Partitioner、Reducer和OutputFormat,其中Mapper和Reducer跟应用程序逻辑相关,因此必须由用户编写……至于其他几个组件,MapReduce引擎内置了默认实现……Partitioner的作用是对Mapper产生的中间结果进行分片,以便将同一组的数据交给同一个Reducer处理,它直接影响Reduce阶段的负载均衡……Combiner……可看作Map端的local reducer……主要作用是,对Mapper输出结果做一个局部聚集,以减少本地磁盘写入量和网络数据传输量", 说明五类可编程组件及Combiner职责;同节允许Map-only作业,因此“Reducer必须编写”只适用于含Reduce阶段的作业。 - 原始内容:需要注意的是,split的多少决定了map task的数目,因为每个split会交由一个map task处理。