知识卡片

操作参考卡 · 9754.h · 生成模型:DeepSeek-V4.1-Flash

运行时的三个角色

理解等级:中级

一个 Java 版 MapReduce 程序通常由三个类构成,另有两个可选类。

  • driver:作业说明书。声明输入文件在 HDFS 的路径、mapper 与 reducer 的类名、输出路径,以及 reducer 数量等配置;reducer 数决定输出文件数与分区数,要按下游怎么用结果来定。
  • mapper:每个输入块执行一次,逐行读、逐条产出中间键值对,中间结果先进内存,溢出则落本地磁盘。它只看到自己那块。
  • reducer:接收”一个键 + 该键的所有值”,按业务逻辑输出一个键值对,结果写回 HDFS。
  • combiner:逻辑常与 reducer 相同,但在 map 端本地先跑一遍。
  • partitioner:决定某个键交给哪个 reducer。

代码编译成 JAR 后针对指定输入运行。不想写 Java 时有替代路径:Hadoop Streaming 用 Python、C、Ruby 写 map 与 reduce,走标准输入输出,性能略差且 partitioner 仍需 Java;Hadoop Pipes 用编译好的 C++;libhdfs 的 C 或 Java API 可在作业之外直接读写 HDFS,便于调试与预转换。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html) - 结论依据:依据 10.1.3 节对 driver、mapper、reducer 三个类职责的描述,以及随后关于 Streaming、Pipes 与 HDFS API 的替代方案。 - 原始内容:以Java编写的一个典型的MapReduce程序包含3个类:driver、mapper和reducer。 driver类提供了诸如输入文件的位置、将输入文件添加到map任务的规定、mapper和reducer Java类的名称,以及reduce任务输出的位置之类的一些细节。