原书出处
数据科学与大数据分析 数据的发现 分析 可视化与表示
10 第10章 高级分析技术与工具:MapReduce和Hadoop
盘驱动器的文件系统来管理被存储到驱动器介质中的数据。Hadoop Wiki[14]给出了磁盘配置选项与考量的更多细节。
对于一个给定的文件,HDFS把文件分为64MB大小的块并存储在集群中。如果文件大小为300MB,则该文件被存储在5个块中:4个64MB块和一个44MB块。如果文件小于64MB,那么该块大小等于文件大小。 只要有可能,HDFS就会试图把文件块存储在不同机器上,这样Map步骤可以并行地操作一个文件的每个块。而且在默认情况下,HDFS为每个块创建三个分散在集群中的副本,以在发生故障时提供必要的冗余。
如果一个机器出现故障,HDFS将相关文件块的可访问副本复制到另一台可用的机器上。HDFS也是机架感知的,这意味着它可以把
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html
EPUB SHA-256:e4a4df0364edbfdf609c07ab4449f2148ede4291cdfba8b2a6ffdc51e7b6c9b7