← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1776.c

DAG突破两阶段

理解等级:未标注

DAG 模型把计算表达成多个有向依赖阶段,避免每个步骤都强行落入 Map-Reduce 两阶段。Dryad、Tez 这类系统让复杂管线少落盘、少调度,适合多阶段分析任务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      DAG计算模型可以认为是对MapReduce计算机制的一种拓展(也可以将MapReduce看作DAG计算的一种特例),MapReduce尽管提供了简洁的用户接口,应用开发者只须完成Map和Reduce函数的业务逻辑即可实现大规模数据批处理任务,但是其支持的运算符仅仅限定于Map和Reduce两类,所以在表达能力上不够丰富。另外,MapReduce机制本质上是由Map和Reduce序列两阶段构成的,之所以说是序列的,是因为尽管Map阶段和Reduce阶段都支持大规模并发,但是在Map阶段有个任务同步过程,只有所有Map任务执行完成才能开始Reduce阶段的任务。从中也可以看出,MapReduce对于子任务之间复杂的交互和依赖关系缺乏表达能力,DAG计算模型对此做出了改进,可以表达复杂的并发任务间的依赖关系,有些系统还提供了更加丰富多样的运算符,这样使得整个系统的表达能力更强。当然,DAG计算模型在带来更强表达能力和灵活性的同时,也需要付出相应的代价:其应用表达结构复杂,使用和学习成本相对较高,所以DAG计算系统在设计中关键的一环就是如何简化应用描述,以提高开发效率。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》"11.3 DAG计算模型"一节(源文件:_epub-src/OEBPS/text00016.html) - 结论依据:原文明确"MapReduce对于子任务之间复杂的交互和依赖关系缺乏表达能力,DAG计算模型对此做出了改进,可以表达复杂的并发任务间的依赖关系",并列举"批处理中的Dryad、FlumeJava和Tez,都是明确构建DAG计算模型的典型系统",说明MapReduce本质上是DAG的一种特例。 - 原始内容:MapReduce对于子任务之间复杂的交互和依赖关系缺乏表达能力,DAG计算模型对此做出了改进,可以表达复杂的并发任务间的依赖关系,有些系统还提供了更加丰富多样的运算符……批处理中的Dryad、FlumeJava和Tez,都是明确构建DAG计算模型的典型系统……MapReduce计算模型,在本质上是DAG的一种特例