← 返回卡片

原书出处

大数据日知录_架构与算法

11 大规模批处理系统

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.138Z

Tez是Apache孵化项目,其本身也是一个相对通用的DAG计算系统,最初提出Tez是为了改善交互数据分析系统Stinger的底层执行引擎,Stinger是Hive的改进版本,最初底层的执行引擎是Hadoop的MapReduce任务形成的DAG任务图,考虑到其运行效率较低,所以提出使用Tez来替换底层执行引擎。Tez使用Map任务或者Reduce任务作为DAG的图节点,图节点的有向边是数据传输通道。Tez通过消除Map阶段中间文件输出到磁盘过程以及引入Reduce-Reduce结构等改进措施极大提升了底层执行引擎的效率。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d