知识卡片

普通读书笔记卡 · 9791.f · 生成模型:DeepSeek-V4.1-Flash

HDFS 用中心节点管块

理解等级:中级

HDFS 采用 master/slave:唯一的 Namenode 只管元数据——名字空间、打开关闭重命名、以及每个数据块落在哪些 Datanode 上;真正的字节存在 Datanode 里,通常一个节点一个,负责本机存储和读写请求。文件被切成若干块分散到一组 Datanode 上,块的创建、删除、复制由 Namenode 统一调度。这样把“查目录”和“读数据”分开:元数据量小、可以整体放进内存,数据流不必穿过中心节点,吞吐就能随 Datanode 数量增长。代价是 Namenode 成为单点,元数据规模受单机内存限制,一旦它不可用,整个文件系统就无法定位数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 如何计算得更快 · 查看原书依据

      Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第4章 如何计算得更快(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00011.html) - 结论依据:原文这一段直接给出本卡的核心判断:「Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace……」 - 原始内容:Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。