知识卡片

普通读书笔记卡 · 2824.a

NameNode管元数据

理解等级:未标注

HDFS 把元数据和数据分开:NameNode 维护文件到数据块、数据块到数据节点的映射,记录文件的元数据,并接收各 DataNode 的心跳和块报告;数据块真正存在 DataNode 上,DataNode 是普通商品硬件,本身不具备高可用,靠默认 3 副本容错。Hadoop 1 只能有一个 NameNode,存在单点故障;Hadoop 2 可以部署多个 NameNode 做高可用。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习实战》第3章《大数据基础》(源文件:_epub-src/OEBPS/Text/chapter3.xhtml) - 结论依据:原文说明HDFS中NameNode为元数据节点,维护文件与数据块、数据块与数据节点的映射表,记录文件元数据(FsImage、EditLogs),定期接收DataNode心跳和Block报告;真正数据存在DataNode上,DataNode是商品硬件、不具高可用;默认复制因子3;Hadoop 1只能有一个NameNode存在单点故障,Hadoop 2可以有多个。 - 原始内容:NameNode在Hadoop 2可以有多个,在Hadoop 1只能有一个,存在单点故障。……NameNode维护了文件与数据块的映射表及数据块与数据节点的映射表,而真正的数据存储在DataNode上。