知识卡片

结构图卡 · 1778.e

Hive Metastore三种部署模式与"一份数据多种引擎"的元数据标准化

理解等级:未标注

Hive内部由三个组件构成:Driver(做SQL解析、生成逻辑/物理计划、优化与执行,输出一系列可以是MapReduce/Tez/Spark的分布式执行程序)、Metastore(管理和存储元信息——数据库定义、数据表结构等,默认用嵌入式数据库Derby持久化,也可换成MySQL等外部数据库)、以及Hadoop本身(HDFS存数据、YARN分配资源、MapReduce做计算)。Metastore的部署方式决定了整个系统的可扩展性和可用性边界,分三种:嵌入式模式把Metastore和Derby两个进程直接嵌入到Driver里,Driver启动时一并拉起,一般只用于测试;本地模式让Driver和Metastore运行在本地,但数据库(如MySQL)单独跑在一个共享节点上;远程模式把Metastore单独部署成一个独立服务节点,被其他所有服务共享,通过Beeline/JDBC/ODBC/CLI等方式访问Hive时走的就是这种模式,是生产环境的常规选择。远程模式最重要的价值在于——一旦Metastore成为一个可以被多方共享访问的独立服务,Spark SQL、Impala、Presto等其他SQL引擎就都可以直接读取和处理Hive Metastore里登记的同一批数据表,真正实现”一份数据、多种计算引擎”,Hive因此从”最早的SQL On Hadoop方案”演变成整个生态系统的元信息标准存储仓库,而不只是自己的私有元数据。可迁移启发:一个系统组件从”内嵌私有状态”逐步演化到”独立部署、对外暴露标准接口的共享服务”,往往是它从”单一工具”升级为”生态系统标准基础设施”的关键一步——判断一个元数据/状态管理组件是否值得独立部署,可以看是否有多个不同系统都需要读取同一份元数据。

结构图:

flowchart TB
  A["Hive Metastore三种部署模式"]
  A --> M1["嵌入式模式:Metastore+Derby嵌入Driver进程<br/>(仅用于测试)"]
  A --> M2["本地模式:Driver+Metastore本地,数据库独立共享节点"]
  A --> M3["远程模式:Metastore独立服务,多方共享<br/>(生产环境常规选择)"]
  M3 --> S["Spark SQL/Impala/Presto等均可直接读取同一Metastore<br/>→一份数据多种引擎,Hive成为元数据标准仓库"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第14章《数据分析语言HQL与SQL》之"14.2 Hive架构"(源文件:_epub-src/OEBPS/text00112.html) - 结论依据:原文说明"根据Metastore的运行方式不同,可将Hive分成三种部署模式:嵌入式模式……本地模式……远程模式:Metastore运行在单独一个节点上,被其他所有服务共享……这是一种常用于生产环境下的部署模式……Hive是Hadoop生态系统中最早的SQL引擎,它的Metastore服务已经被越来越多的SQL引擎所支持,已经成为大数据系统的元信息标准存储仓库。前面提到的Spark SQL、Impala和Presto等引擎均可直接读取并处理Hive Metastore中的数据表,真正实现'一份数据多种引擎'的计算模式", 直接支撑本卡关于三种部署模式与元数据标准化的结构图。 - 原始内容:Hive是Hadoop生态系统中最早的SQL引擎,它的Metastore服务已经被越来越多的SQL引擎所支持。