知识卡片
Hive Metastore三种部署模式与"一份数据多种引擎"的元数据标准化
Hive内部由三个组件构成:Driver(做SQL解析、生成逻辑/物理计划、优化与执行,输出一系列可以是MapReduce/Tez/Spark的分布式执行程序)、Metastore(管理和存储元信息——数据库定义、数据表结构等,默认用嵌入式数据库Derby持久化,也可换成MySQL等外部数据库)、以及Hadoop本身(HDFS存数据、YARN分配资源、MapReduce做计算)。Metastore的部署方式决定了整个系统的可扩展性和可用性边界,分三种:嵌入式模式把Metastore和Derby两个进程直接嵌入到Driver里,Driver启动时一并拉起,一般只用于测试;本地模式让Driver和Metastore运行在本地,但数据库(如MySQL)单独跑在一个共享节点上;远程模式把Metastore单独部署成一个独立服务节点,被其他所有服务共享,通过Beeline/JDBC/ODBC/CLI等方式访问Hive时走的就是这种模式,是生产环境的常规选择。远程模式最重要的价值在于——一旦Metastore成为一个可以被多方共享访问的独立服务,Spark SQL、Impala、Presto等其他SQL引擎就都可以直接读取和处理Hive Metastore里登记的同一批数据表,真正实现”一份数据、多种计算引擎”,Hive因此从”最早的SQL On Hadoop方案”演变成整个生态系统的元信息标准存储仓库,而不只是自己的私有元数据。可迁移启发:一个系统组件从”内嵌私有状态”逐步演化到”独立部署、对外暴露标准接口的共享服务”,往往是它从”单一工具”升级为”生态系统标准基础设施”的关键一步——判断一个元数据/状态管理组件是否值得独立部署,可以看是否有多个不同系统都需要读取同一份元数据。
结构图:
flowchart TB
A["Hive Metastore三种部署模式"]
A --> M1["嵌入式模式:Metastore+Derby嵌入Driver进程<br/>(仅用于测试)"]
A --> M2["本地模式:Driver+Metastore本地,数据库独立共享节点"]
A --> M3["远程模式:Metastore独立服务,多方共享<br/>(生产环境常规选择)"]
M3 --> S["Spark SQL/Impala/Presto等均可直接读取同一Metastore<br/>→一份数据多种引擎,Hive成为元数据标准仓库"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。