知识卡片
Hive分离查询与存储
Hive在书中承担类SQL查询与元数据管理,图9-5把处理路径分成几层:
- 用户经CLI或JDBC/ODBC提交查询。
- Hive解析并规划任务,由Hadoop执行。
- 数据位于HDFS。
书中以MapReduce为执行路径,属于该版本的架构说明,不应视为所有Hive部署的固定实现。
结构图:
flowchart TD
U[CLI或JDBC/ODBC用户] --> Q[Hive SQL解析与规划]
M[元数据] --> Q
Q --> E[Hadoop执行任务]
E --> S[HDFS数据]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用可伸缩微服务架构》第9章9.3节“数据仓库工具Hive”(源文件:OEBPS/Text/chapter014.xhtml;图9-5:OEBPS/Images/387_1.jpg)
- 结论依据:正文说明Hive管理元数据、转换HiveSQL并调度MapReduce,图9-5展示查询入口、驱动器、元数据、YARN/MapReduce与HDFS的关系。
- 原始内容:Hive主要负责元数据管理,把研发工程师或数据分析师熟悉的SQL语句转换为Hadoop的分布式处理程序MapReduce,然后将MapReduce程序调度到Hadoop中运行,对存储在HDFS上的大规模数据进行分析处理。