知识卡片
块位置与文件内容分离
HDFS把文件切成块、在多个DataNode保存副本;NameNode记录文件到块及块到节点的映射。客户端先查询位置,再直接访问DataNode的数据。分块使存储和计算可分散到多个节点,复制减少单个节点故障导致不可读的风险;若某块的所有副本都失效,该块仍不可用。副本数不是任意多故障都安全的保证。
结构图:
sequenceDiagram
participant C as 客户端
participant N as NameNode
participant D as DataNode
C->>N: 查询文件的块位置
N-->>C: 返回块与副本位置
C->>D: 读取相应文件块
D-->>C: 返回块内容
与[[文件系统胜任批量]]的联系:HDFS将块位置元数据与数据通道分离以支持分布式读取。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
NameNode负责追踪文件到块的映射(File-to-block Mapping)和每一个块的位置。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第4章《批处理层的数据存储》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/033.xhtml)
- 结论依据:原文及图4-2/4-3说明元数据与内容访问分工,并以三个副本同时失效指出边界。
- 原始内容:NameNode负责追踪文件到块的映射(File-to-block Mapping)和每一个块的位置。