← 返回卡片

原书出处

数据科学与大数据分析 数据的发现 分析 可视化与表示

10 第10章 高级分析技术与工具:MapReduce和Hadoop

第1版 · 核验版本的摘录快照 · 导入于 2026-11-18T18:41:59.832Z

用哪个机器来处理特定的块。例如,一个闲置或未充分利用的机器包含了要被处理的文件块,则可以调度这台机器来处理这个数据块。

为了管理数据访问,HDFS采用三个Java守护进程(后台进程):NameNode、DateNode和Secondary NameNode。NameNode守护进程在单台机器上运行,确定并跟踪一个数据文件的不同块被存储的位置。DataNode守护进程管理每台机器上存储的数据。如果客户端应用程序要访问存储在HDFS上的一个特定文件,该应用程序可以联系NameNode,然后NameNode为该应用程序提供这个文件的不同块所在的位置。然后应用程序就可以与相应的DataNode通信来访问文件了。

每个DataNode定期生成关于存储在DataNode上的文件块的报告,并将报告发送给NameNode。如果DataN

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html

EPUB SHA-256:e4a4df0364edbfdf609c07ab4449f2148ede4291cdfba8b2a6ffdc51e7b6c9b7