知识卡片
作业链靠目录与调度器
单个 MapReduce 作业能解决的问题有限:日志分析中一个作业能算出每个 URL 的浏览次数,却求不出最常见的 URL,因为那需要第二轮排序。所以作业经常被链接成工作流,一个作业的输出成为下一个作业的输入。
Hadoop 对工作流没有特殊支持,链接靠目录名隐式实现:第一个作业把输出写到 HDFS 中的指定目录,第二个作业把输入配置为同一目录。在框架看来这是两个独立作业,所以它不像 Unix 管道(直接把输出接到输入,只用很小的内存缓冲区),更像每条命令把输出写入临时文件、下一条命令再读取。
为什么需要调度器:只有作业成功完成,其输出才被视为有效(失败作业的部分输出会被丢弃),因此下游作业必须在上游成功后才能开始。为处理作业间依赖,出现了 Oozie、Azkaban、Luigi、Airflow、Pinball 等工作流调度器,它们还提供管理功能——构建推荐系统时由 50 到 100 个 MapReduce 作业组成的工作流很常见,大型组织中不同团队还会读彼此的输出。Pig、Hive、Cascading、Crunch、FlumeJava 等高级工具则能自动把多个 MapReduce 阶段装配成合适的工作流。
物理布局成为接口的一部分:选择 Map 侧还是 Reduce 侧连接会影响输出结构——Reduce 侧连接的输出按连接键分区排序,Map 侧连接的输出按较大输入的方式分区排序。要优化连接策略,仅知道编码格式和目录名不够,还必须知道数据按哪些键分区、排序以及分区数量;在 Hadoop 生态中,这类元数据通常维护在 HCatalog 和 Hive Metastore 中。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十章:批处理
原书出处 · 1 处
- 第十章:批处理 · 查看原书依据
Hadoop MapReduce框架对工作流没有特殊支持,所以这个链是通过目录名隐式实现的:第一个作业必须将其输出配置为HDFS中的指定目录,第二个作业必须将其输入配置为从同一个目录。