知识卡片
MapReduce五大可编程组件的职责划分
MapReduce把[[MapReduce的分而治之编程模型与五步骤抽象]]中的五个抽象步骤,进一步落实成五个可编程组件,且刻意区分了哪些组件”必须由用户实现”、哪些”框架已有默认实现、够用就不用管”。Mapper封装Map阶段的核心处理逻辑,通常由用户实现;有Reduce阶段时,Reducer负责规约逻辑并由用户实现。Map-only作业没有Reducer。InputFormat负责两件事:按某种策略把输入数据切分成多个split(split数直接决定Map Task数量,因为每个split对应一个Map Task)、以及把给定的split解析成一系列——框架自带TextInputFormat(按行解析文本,key是偏移量、value是行内容)、SequenceFileInputFormat等默认实现,绝大多数场景直接复用即可。Partitioner负责决定Mapper产生的每一对该交给哪个Reduce Task处理,直接影响Reduce阶段的负载均衡,默认的HashPartitioner用key的哈希值取模决定分区,能保证相同key必然进同一个Reducer。OutputFormat对称于InputFormat,负责把最终的写成指定格式的输出文件。除了这五类可编程组件外,还有一个可选的性能优化组件Combiner——它可以理解为运行在Map Task本地的”迷你Reducer”,逻辑通常和Reducer一样,作用是先在本地对Mapper的输出做一次局部聚合,减少后续网络传输和磁盘写入的数据量、减轻真正Reducer的计算压力。可迁移启发:设计一个需要高度定制化的处理框架时,可以借鉴这种分层——把”业务逻辑必须由使用者提供”的部分和”通用机制框架可以给出合理默认实现”的部分明确切分开,让用户只需要在真正需要定制的地方花心思。
结构图:
flowchart TB
A["五大可编程组件"]
A --> M["Mapper(核心处理逻辑)<br/>核心处理逻辑"]
A --> R["Reducer(有Reduce阶段时实现)<br/>核心规约逻辑"]
A --> I["InputFormat(通常用默认)<br/>数据切分成split+解析成<key,value>"]
A --> P["Partitioner(通常用默认HashPartitioner)<br/>决定<key,value>交给哪个Reducer"]
A --> O["OutputFormat(通常用默认)<br/>结果写成指定格式文件"]
A --> C["Combiner(可选优化组件)<br/>Map端本地预聚合,减少网络与磁盘IO"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。