知识卡片

结构图卡 · 9754.f · 生成模型:DeepSeek-V4.1-Flash

HDFS 的角色分工

理解等级:中级

HDFS 用三个 Java 守护进程管理数据访问,职责严格分离,如图。

NameNode:单机运行,只维护元数据——某个文件由哪些块组成、各块在哪台机器上。客户端先向它询问块位置,再直接找 DataNode 读数据,数据流不经过 NameNode,因此元数据服务可以很轻。

DataNode:每台工人节点一个,管理本机存储的块,定期把块报告发给 NameNode;块不可访问时,由 NameNode 安排把可访问副本复制到别的机器。

Secondary NameNode:分担 NameNode 的部分工作,例如用编辑日志更新文件系统映像,但它不是备份。

主节点与工人节点:运行 NameNode 与 Secondary NameNode 的机器称主节点,运行 DataNode 的机器称工人节点,后者接受主节点指令。

图里虚线是心跳与块报告,实线是客户端的数据通路。理解这条分离,才能理解为什么元数据服务会成为整个集群的命门:数据还在,但没人知道块在哪,集群就等于不可用。

结构图:

flowchart LR
  A[客户端] -->|先问块位置| B[NameNode元数据]
  A -->|再直连读写| C[DataNode甲]
  A -->|再直连读写| D[DataNode乙]
  A -->|再直连读写| E[DataNode丙]
  C -.->|块报告| B
  D -.->|块报告| B
  E -.->|块报告| B
  F[Secondary NameNode] -->|合并编辑日志| B
  G[本地磁盘] --- C
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据

      为了管理数据访问,HDFS采用三个Java守护进程(后台进程):NameNode、DateNode和Secondary NameNode。NameNode守护进程在单台机器上运行,确定并跟踪一个数据文件的不同块被存储的位置。DataNode守护进程管理每台机器上存储的数据。如果客户端应用程序要访问存储在HDFS上的一个特定文件,该应用程序可以联系NameNode,然后NameNode为该应用程序提供这个文件的不同块所在的位置。然后应用程序就可以与相应的DataNode通信来访问文件了。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html) - 结论依据:依据 10.1.3 节对 NameNode、DataNode、Secondary NameNode 三个守护进程及主节点、工人节点命名的说明。 - 原始内容:为了管理数据访问,HDFS采用三个Java守护进程(后台进程):NameNode、DateNode和Secondary NameNode。NameNode守护进程在单台机器上运行,确定并跟踪一个数据文件的不同块被存储的位置。DataNode守护进程管理每台机器上存储的数据。如果客户端应用程序要访问存储在HDFS上的一个特定文件,该应用程序可以联系NameNode,然后NameNode为该应用程序提供这个文件的不同块所在的位置。然后应用程序就可以与相应的DataNode通信来访问文件了。