知识卡片

结构图卡 · 2824.a.1

HDFS主从架构与NameNode高可用切换机制

理解等级:未标注

HDFS采用主从架构,NameNode(传统单命名空间部署中由一个Active管理元信息——目录树和每个文件的数据块位置)是主节点,DataNode(多个,实际存数据块,周期性向NameNode发心跳汇报健康状态和负载)是从节点。这个架构最大的结构性风险是NameNode单点:它的内存里存着整个文件系统的元信息,一旦这个进程挂掉,即使所有DataNode上的数据块完好无损,整个文件系统也无法定位这些数据块归属哪个文件,等于全盘不可用。HDFS的解法是引入一个Standby NameNode与Active NameNode组成高可用对,但两者不是靠强一致协议直接同步内存状态,而是借助第三方共享存储中转:Active NameNode把每次修改操作写成EditLog发到共享存储,Standby NameNode从共享存储里读出这些EditLog并在自己内存里重放一遍,从而保持和Active几乎一致的元信息状态。共享存储可以用NFS,但HDFS更常用内置的QJM(Quorum Journal Manager)——用2N+1台JournalNode存EditLog,只要有超过半数(≥N+1)确认写成功就算这次写成功,这个机制最多能容忍N台JournalNode同时故障,且可部署在普通商用机器上;书中仅比较其成本低于所述NFS方案。主备切换可以手动触发(用于滚动升级这种计划内场景),也可以通过ZooKeeper自动检测Active故障后把Standby自动提升为新的Active。当单个NameNode即使做了HA、仍因元信息量太大而成为扩展性瓶颈时,HDFS进一步提供NameNode Federation:让多个Active NameNode各自管理独立命名空间及目录树的一部分;这与单个命名空间中的主备HA不同,并在上层用ViewFs封装出统一的命名空间视图,让用户感觉不到底层其实是多个NameNode在分片管理。

结构图:

flowchart TB
  A["HDFS主从架构"]
  A --> N["NameNode(元信息管理)"]
  A --> D["DataNode(实际数据块存储,多个)"]
  N --> HA["高可用设计"]
  HA --> Active["Active NameNode<br/>写EditLog"]
  HA --> Standby["Standby NameNode<br/>读EditLog重放,保持状态同步"]
  Active -->|"共享存储(NFS或QJM<br/>QJM:2N+1个JournalNode,超半数确认)"| Standby
  HA --> Switch["主备切换:手动(滚动升级)/自动(ZooKeeper检测故障)"]
  N --> Fed["NameNode Federation<br/>多NameNode水平分片目录树<br/>+ViewFs统一命名空间"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第6章《分布式文件系统》之"6.3 HDFS基本架构"(源文件:_epub-src/OEBPS/text00043.html) - 结论依据:原文说明"主NameNode将EditLog(修改日志,比如创建和修改文件)写入共享存储系统,备用NameNode则从共享存储系统中读取这些修改日志,并重新执行这些操作,以保证与主NameNode的内存信息一致……QJM是HDFS内置的高可用日志存取系统,其基本原理是用2N+1台JournalNode存储EditLog,每次写数据操作大多数(≥N+1)返回成功确认即认为该次写成功……HDFS提供了NameNode Federation机制,允许一个集群中存在多个对外服务的NameNode,它们各自管理目录树的一部分……HDFS在NameNode Federation之上封装了一层文件系统视图ViewFs",直接支撑本卡结构图与结论。 - 原始内容:QJM能够构建在普通商用机器之上,比NFS更加廉价,因此受众更广。