知识卡片

普通读书笔记卡 · 1778.d.1

Hive 更换 DAG 执行引擎可减少中间结果落盘

理解等级:中级

Hive 的 SQL 层可选不同执行引擎。书中三表连接再聚合的示例,使用 MapReduce 时拆为多个作业,作业间通过 HDFS 交换中间结果;使用 Tez 或 Spark 等 DAG 引擎时可在一个应用内组织多算子,经本地磁盘或网络交换数据,减少反复写入分布式文件系统的开销。具体作业数是示例结果,不是所有 HQL 的固定规律。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第14章《数据分析语言HQL与SQL》14.2.2 Hive 查询引擎(源文件:`_epub-src/OEBPS/text00112.html`) - 结论依据:原书比较同一 HQL 在 MapReduce 与 Tez/Spark 路径下的作业组织及中间数据交换方式。 - 原始内容:该HQL最终被转换成4个MapReduce作业,它们之间通过分布式文件系统HDFS交换数据