知识卡片
Hive以SQL换MR
早期Hive给HDFS文件增加模式信息,把HiveQL编译为MR任务,让分析者用声明式查询代替手写分布式程序。降低语言门槛与缩短响应时间是不同问题;本章讨论的MR引擎仍有调度和落盘延迟,不能据此认定所有后续Hive版本都只能跑MR。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第13章 交互式数据分析
- · 附录B 延伸阅读
原书出处 · 2 处
- 延伸阅读 · 查看原书依据
Hive作为最早的SQL-On-Hadoop系统之一,目前已经获得了广泛使用。尽管其执行引擎采用MR机制导致查询性能较低,且有被其他采用MPP并行数据库思路的系统替代的可能,但是鉴于其对于后续SQL-On-Hadoop系统的影响力,为了深入了解这类系统的发展脉络,其体系结构还是 非常值得仔细研究的。
- 交互式数据分析 · 查看原书依据
Hive的本质思想可以看作是:为Hadoop里存储的数据增加模式(Schema),并为用户提供类 SQL语言,Hive将类SQL语言转换为一系列MR任务来实现数据的处理,以此手段来达到便利操作数据仓库的目的。
参考来源
- 位置:《大数据日知录:架构与算法》第13章《交互式数据分析》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00018.html)
- 结论依据:原文在本章对Hive以SQL换MR给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:Hive的本质思想可以看作是:为Hadoop里存储的数据增加模式(Schema),并为用户提供类 SQL语言,Hive将类SQL语言转换为一系列MR任务来实现数据的处理,以此手段来达到便利操作数据仓库的目的。