← 返回卡片

原书出处

数据科学与大数据分析 数据的发现 分析 可视化与表示

10 第10章 高级分析技术与工具:MapReduce和Hadoop

第1版 · 核验版本的摘录快照 · 导入于 2026-11-18T18:41:59.832Z

盘驱动器的文件系统来管理被存储到驱动器介质中的数据。Hadoop Wiki[14]给出了磁盘配置选项与考量的更多细节。

对于一个给定的文件,HDFS把文件分为64MB大小的块并存储在集群中。如果文件大小为300MB,则该文件被存储在5个块中:4个64MB块和一个44MB块。如果文件小于64MB,那么该块大小等于文件大小。 只要有可能,HDFS就会试图把文件块存储在不同机器上,这样Map步骤可以并行地操作一个文件的每个块。而且在默认情况下,HDFS为每个块创建三个分散在集群中的副本,以在发生故障时提供必要的冗余。

如果一个机器出现故障,HDFS将相关文件块的可访问副本复制到另一台可用的机器上。HDFS也是机架感知的,这意味着它可以把

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html

EPUB SHA-256:e4a4df0364edbfdf609c07ab4449f2148ede4291cdfba8b2a6ffdc51e7b6c9b7