知识卡片
HDFS 用中心节点管块
HDFS 采用 master/slave:唯一的 Namenode 只管元数据——名字空间、打开关闭重命名、以及每个数据块落在哪些 Datanode 上;真正的字节存在 Datanode 里,通常一个节点一个,负责本机存储和读写请求。文件被切成若干块分散到一组 Datanode 上,块的创建、删除、复制由 Namenode 统一调度。这样把“查目录”和“读数据”分开:元数据量小、可以整体放进内存,数据流不必穿过中心节点,吞吐就能随 Datanode 数量增长。代价是 Namenode 成为单点,元数据规模受单机内存限制,一旦它不可用,整个文件系统就无法定位数据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 如何计算得更快 · 查看原书依据
Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第4章 如何计算得更快(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00011.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace……」
- 原始内容:Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。