← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9754.e · 生成模型:DeepSeek-V4.1-Flash

HDFS 的块与三副本

理解等级:初级

HDFS 不是 ext4 这类本地文件系统的替代品,它架在每台机器的本地文件系统之上,负责把数据铺到整个集群。

定长切块:文件按 64MB 切块。300MB 的文件落成 5 块——4 个 64MB 加 1 个 44MB;不足 64MB 的文件,块大小等于文件本身。块是分布与并行处理的最小单位,一个块通常对应一个 map 任务。

三副本:默认每个块存三份,分散在不同机器;某台机器故障后仍可读到,HDFS 会把失效块的可访问副本再复制一份补足。

机架感知:副本尽量跨机架放置,避免整个机架断电导致数据不可用。

副本带来调度弹性:持有某块且当前空闲的机器可以优先被派去处理该块,减少网络传输。

代价:三副本意味着一份数据占三倍存储;块太大则并行粒度粗,块太小则任务数与调度开销上升,小文件过多还会压垮 NameNode 的元数据内存。参数选择本质上是并行度、容错与成本之间的折中。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据

      对于一个给定的文件,HDFS把文件分为64MB大小的块并存储在集群中。如果文件大小为300MB,则该文件被存储在5个块中:4个64MB块和一个44MB块。如果文件小于64MB,那么该块大小等于文件大小。 只要有可能,HDFS就会试图把文件块存储在不同机器上,这样Map步骤可以并行地操作一个文件的每个块。而且在默认情况下,HDFS为每个块创建三个分散在集群中的副本,以在发生故障时提供必要的冗余。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html) - 结论依据:依据 10.1.3 节关于 64MB 分块、300MB 示例、三副本冗余与机架感知的说明。 - 原始内容:对于一个给定的文件,HDFS把文件分为64MB大小的块并存储在集群中。如果文件大小为300MB,则该文件被存储在5个块中:4个64MB块和一个44MB块。如果文件小于64MB,那么该块大小等于文件大小。 只要有可能,HDFS就会试图把文件块存储在不同机器上,这样Map步骤可以并行地操作一个文件的每个块。而且在默认情况下,HDFS为每个块创建三个分散在集群中的副本,以在发生故障时提供必要的冗余。