知识卡片
DAG优化减少多作业落盘
FlumeJava把多个MapReduce风格操作表达为可优化的任务图,Tez让执行图支持更灵活的节点连接,避免每一逻辑步骤都被拆为独立MR作业。收益来自减少不必要的启动、数据交换或落盘,不是保证所有边都永不落盘。原文孵化状态属于历史描述,不作为当前项目状态。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大规模批处理系统 · 查看原书依据
Tez是Apache孵化项目,其本身也是一个相对通用的DAG计算系统,最初提出Tez是为了改善交互数据分析系统Stinger的底层执行引擎,Stinger是Hive的改进版本,最初底层的执行引擎是Hadoop的MapReduce任务形成的DAG任务图,考虑到其运行效率较低,所以提出使用Tez来替换底层执行引擎。Tez使用Map任务或者Reduce任务作为DAG的图节点,图节点的有向边是数据传输通道。Tez通过消除Map阶段中间文件输出到磁盘过程以及引入Reduce-Reduce结构等改进措施极大提升了底层执行引擎的效率。
参考来源
- 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落132(OEBPS/text00016.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:Tez是Apache孵化项目,其本身也是一个相对通用的DAG计算系统,最初提出Tez是为了改善交互数据分析系统Stinger的底层执行引擎,Stinger是Hive的改进版本,最初底层的执行引擎是Hadoop的MapReduce任务形成的DAG任务图,考虑到其运行效率较低,所以提出使用Tez来替换底层执行引擎。Tez使用Map任务或者Reduce任务作为DAG的图节点,图节点的有向边是数据传输通道。Tez通过消除Map阶段中间文件输出到磁盘过程以及引入Reduce-Reduce结构等改进措施极大提升了底层执行引擎的效率。