知识卡片
HDFS 的角色分工
HDFS 用三个 Java 守护进程管理数据访问,职责严格分离,如图。
NameNode:单机运行,只维护元数据——某个文件由哪些块组成、各块在哪台机器上。客户端先向它询问块位置,再直接找 DataNode 读数据,数据流不经过 NameNode,因此元数据服务可以很轻。
DataNode:每台工人节点一个,管理本机存储的块,定期把块报告发给 NameNode;块不可访问时,由 NameNode 安排把可访问副本复制到别的机器。
Secondary NameNode:分担 NameNode 的部分工作,例如用编辑日志更新文件系统映像,但它不是备份。
主节点与工人节点:运行 NameNode 与 Secondary NameNode 的机器称主节点,运行 DataNode 的机器称工人节点,后者接受主节点指令。
图里虚线是心跳与块报告,实线是客户端的数据通路。理解这条分离,才能理解为什么元数据服务会成为整个集群的命门:数据还在,但没人知道块在哪,集群就等于不可用。
结构图:
flowchart LR
A[客户端] -->|先问块位置| B[NameNode元数据]
A -->|再直连读写| C[DataNode甲]
A -->|再直连读写| D[DataNode乙]
A -->|再直连读写| E[DataNode丙]
C -.->|块报告| B
D -.->|块报告| B
E -.->|块报告| B
F[Secondary NameNode] -->|合并编辑日志| B
G[本地磁盘] --- C
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
为了管理数据访问,HDFS采用三个Java守护进程(后台进程):NameNode、DateNode和Secondary NameNode。NameNode守护进程在单台机器上运行,确定并跟踪一个数据文件的不同块被存储的位置。DataNode守护进程管理每台机器上存储的数据。如果客户端应用程序要访问存储在HDFS上的一个特定文件,该应用程序可以联系NameNode,然后NameNode为该应用程序提供这个文件的不同块所在的位置。然后应用程序就可以与相应的DataNode通信来访问文件了。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html)
- 结论依据:依据 10.1.3 节对 NameNode、DataNode、Secondary NameNode 三个守护进程及主节点、工人节点命名的说明。
- 原始内容:为了管理数据访问,HDFS采用三个Java守护进程(后台进程):NameNode、DateNode和Secondary NameNode。NameNode守护进程在单台机器上运行,确定并跟踪一个数据文件的不同块被存储的位置。DataNode守护进程管理每台机器上存储的数据。如果客户端应用程序要访问存储在HDFS上的一个特定文件,该应用程序可以联系NameNode,然后NameNode为该应用程序提供这个文件的不同块所在的位置。然后应用程序就可以与相应的DataNode通信来访问文件了。