知识卡片
Hive 更换 DAG 执行引擎可减少中间结果落盘
Hive 的 SQL 层可选不同执行引擎。书中三表连接再聚合的示例,使用 MapReduce 时拆为多个作业,作业间通过 HDFS 交换中间结果;使用 Tez 或 Spark 等 DAG 引擎时可在一个应用内组织多算子,经本地磁盘或网络交换数据,减少反复写入分布式文件系统的开销。具体作业数是示例结果,不是所有 HQL 的固定规律。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第14章《数据分析语言HQL与SQL》14.2.2 Hive 查询引擎(源文件:`_epub-src/OEBPS/text00112.html`)
- 结论依据:原书比较同一 HQL 在 MapReduce 与 Tez/Spark 路径下的作业组织及中间数据交换方式。
- 原始内容:该HQL最终被转换成4个MapReduce作业,它们之间通过分布式文件系统HDFS交换数据