知识卡片

普通读书笔记卡 · 2280.q.4.b

作业链靠目录与调度器

理解等级:中级

单个 MapReduce 作业能解决的问题有限:日志分析中一个作业能算出每个 URL 的浏览次数,却求不出最常见的 URL,因为那需要第二轮排序。所以作业经常被链接成工作流,一个作业的输出成为下一个作业的输入。

Hadoop 对工作流没有特殊支持,链接靠目录名隐式实现:第一个作业把输出写到 HDFS 中的指定目录,第二个作业把输入配置为同一目录。在框架看来这是两个独立作业,所以它不像 Unix 管道(直接把输出接到输入,只用很小的内存缓冲区),更像每条命令把输出写入临时文件、下一条命令再读取。

为什么需要调度器:只有作业成功完成,其输出才被视为有效(失败作业的部分输出会被丢弃),因此下游作业必须在上游成功后才能开始。为处理作业间依赖,出现了 Oozie、Azkaban、Luigi、Airflow、Pinball 等工作流调度器,它们还提供管理功能——构建推荐系统时由 50 到 100 个 MapReduce 作业组成的工作流很常见,大型组织中不同团队还会读彼此的输出。Pig、Hive、Cascading、Crunch、FlumeJava 等高级工具则能自动把多个 MapReduce 阶段装配成合适的工作流。

物理布局成为接口的一部分:选择 Map 侧还是 Reduce 侧连接会影响输出结构——Reduce 侧连接的输出按连接键分区排序,Map 侧连接的输出按较大输入的方式分区排序。要优化连接策略,仅知道编码格式和目录名不够,还必须知道数据按哪些键分区、排序以及分区数量;在 Hadoop 生态中,这类元数据通常维护在 HCatalog 和 Hive Metastore 中。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第十章:批处理 · 查看原书依据

      Hadoop MapReduce框架对工作流没有特殊支持,所以这个链是通过目录名隐式实现的:第一个作业必须将其输出配置为HDFS中的指定目录,第二个作业必须将其输入配置为从同一个目录。

    参考来源

    - 位置:《数据密集型应用系统设计》第10章《第十章:批处理》MapReduce和分布式文件系统·MapReduce工作流;Map侧连接(源文件:extracted/数据密集型应用系统设计/_epub-src/ch10_split_003.html,来源项目 book-sources) - 结论依据:第十章“MapReduce工作流”说明单作业局限、通过HDFS目录名隐式链接作业、只有成功作业输出有效、工作流调度器及其管理功能和高级工具自动组装;“MapReduce工作流与Map侧连接”说明连接方式影响输出的分区排序,需要了解数据集物理布局并由HCatalog和Hive Metastore维护元数据。 - 原始内容:Hadoop MapReduce框架对工作流没有特殊支持,所以这个链是通过目录名隐式实现的:第一个作业必须将其输出配置为HDFS中的指定目录,第二个作业必须将其输入配置为从同一个目录。