知识卡片
DAG突破两阶段
内容
DAG 模型把计算表达成多个有向依赖阶段，避免每个步骤都强行落入 Map-Reduce 两阶段。Dryad、Tez 这类系统让复杂管线少落盘、少调度，适合多阶段分析任务。
参考来源
- 位置：《大数据日知录：架构与算法》第11章《大规模批处理系统》"11.3 DAG计算模型"一节（源文件：_epub-src/OEBPS/text00016.html）
- 结论依据：原文明确"MapReduce对于子任务之间复杂的交互和依赖关系缺乏表达能力，DAG计算模型对此做出了改进，可以表达复杂的并发任务间的依赖关系"，并列举"批处理中的Dryad、FlumeJava和Tez，都是明确构建DAG计算模型的典型系统"，说明MapReduce本质上是DAG的一种特例。
- 原始内容：MapReduce对于子任务之间复杂的交互和依赖关系缺乏表达能力，DAG计算模型对此做出了改进，可以表达复杂的并发任务间的依赖关系，有些系统还提供了更加丰富多样的运算符……批处理中的Dryad、FlumeJava和Tez，都是明确构建DAG计算模型的典型系统……MapReduce计算模型，在本质上是DAG的一种特例。