知识卡片
HDFS主从架构与NameNode高可用切换机制
HDFS采用主从架构,NameNode(传统单命名空间部署中由一个Active管理元信息——目录树和每个文件的数据块位置)是主节点,DataNode(多个,实际存数据块,周期性向NameNode发心跳汇报健康状态和负载)是从节点。这个架构最大的结构性风险是NameNode单点:它的内存里存着整个文件系统的元信息,一旦这个进程挂掉,即使所有DataNode上的数据块完好无损,整个文件系统也无法定位这些数据块归属哪个文件,等于全盘不可用。HDFS的解法是引入一个Standby NameNode与Active NameNode组成高可用对,但两者不是靠强一致协议直接同步内存状态,而是借助第三方共享存储中转:Active NameNode把每次修改操作写成EditLog发到共享存储,Standby NameNode从共享存储里读出这些EditLog并在自己内存里重放一遍,从而保持和Active几乎一致的元信息状态。共享存储可以用NFS,但HDFS更常用内置的QJM(Quorum Journal Manager)——用2N+1台JournalNode存EditLog,只要有超过半数(≥N+1)确认写成功就算这次写成功,这个机制最多能容忍N台JournalNode同时故障,且可部署在普通商用机器上;书中仅比较其成本低于所述NFS方案。主备切换可以手动触发(用于滚动升级这种计划内场景),也可以通过ZooKeeper自动检测Active故障后把Standby自动提升为新的Active。当单个NameNode即使做了HA、仍因元信息量太大而成为扩展性瓶颈时,HDFS进一步提供NameNode Federation:让多个Active NameNode各自管理独立命名空间及目录树的一部分;这与单个命名空间中的主备HA不同,并在上层用ViewFs封装出统一的命名空间视图,让用户感觉不到底层其实是多个NameNode在分片管理。
结构图:
flowchart TB
A["HDFS主从架构"]
A --> N["NameNode(元信息管理)"]
A --> D["DataNode(实际数据块存储,多个)"]
N --> HA["高可用设计"]
HA --> Active["Active NameNode<br/>写EditLog"]
HA --> Standby["Standby NameNode<br/>读EditLog重放,保持状态同步"]
Active -->|"共享存储(NFS或QJM<br/>QJM:2N+1个JournalNode,超半数确认)"| Standby
HA --> Switch["主备切换:手动(滚动升级)/自动(ZooKeeper检测故障)"]
N --> Fed["NameNode Federation<br/>多NameNode水平分片目录树<br/>+ViewFs统一命名空间"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。