知识卡片
文件分块复制支持集群读取
HDFS通过名称与数据节点等角色组织文件块,把大文件分散到多个节点,并使用副本提高可用性。块大小和副本数应按环境配置理解;多副本不等于覆盖误删、逻辑损坏和全部灾害,因此不能沿用书中“无需备份”的结论。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据技术中台 11.1.1 Hadoop技术框架 · 查看原书依据
Hadoop的分布式文件系统HDFS如图11-4所示,它首先将服务器集群分为名称节点(NameNode)与数据节点(DataNode)。名称节点是控制节点,当需要存储数据时,名称节点将很大的数据文件拆分成一个个大小为128MB的小文件,然后散列存储在其下的很多数据节点中。当Hadoop需要处理这个数据文件时,实际上就是将其分布到各个数据节点上进行并行处理,使性能得到大幅提升。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.1.1 Hadoop技术框架”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter143.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:HDFS通过名称与数据节点等角色组织文件块,把大文件分散到多个节点,并使用副本提高可用性。其余范围限定用于避免超出书内证据。
- 原始内容:Hadoop的分布式文件系统HDFS如图11-4所示,它首先将服务器集群分为名称节点(NameNode)与数据节点(DataNode)。名称节点是控制节点,当需要存储数据时,名称节点将很大的数据文件拆分成一个个大小为128MB的小文件,然后散列存储在其下的很多数据节点中。当Hadoop需要处理这个数据文件时,实际上就是将其分布到各个数据节点上进行并行处理,使性能得到大幅提升。