知识卡片
NameNode管元数据
HDFS 把元数据和数据分开:NameNode 维护文件到数据块、数据块到数据节点的映射,记录文件的元数据,并接收各 DataNode 的心跳和块报告;数据块真正存在 DataNode 上,DataNode 是普通商品硬件,本身不具备高可用,靠默认 3 副本容错。Hadoop 1 只能有一个 NameNode,存在单点故障;Hadoop 2 可以部署多个 NameNode 做高可用。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第3章《大数据基础》(源文件:_epub-src/OEBPS/Text/chapter3.xhtml)
- 结论依据:原文说明HDFS中NameNode为元数据节点,维护文件与数据块、数据块与数据节点的映射表,记录文件元数据(FsImage、EditLogs),定期接收DataNode心跳和Block报告;真正数据存在DataNode上,DataNode是商品硬件、不具高可用;默认复制因子3;Hadoop 1只能有一个NameNode存在单点故障,Hadoop 2可以有多个。
- 原始内容:NameNode在Hadoop 2可以有多个,在Hadoop 1只能有一个,存在单点故障。……NameNode维护了文件与数据块的映射表及数据块与数据节点的映射表,而真正的数据存储在DataNode上。