原书出处
数据科学与大数据分析 数据的发现 分析 可视化与表示
10 第10章 高级分析技术与工具:MapReduce和Hadoop
ord,1>键/值,而不管该单词在文本行里出现了多少次。键/值对被临时存储在工人节点的内存中(或缓存到节点的磁盘上)。
接下来,根据要运行的reducer的数量,由内置的shuffle 和sort功能来处理键/值对。在这个简单的例子中,只有一个reducer。所以,所有的中间数据都要传递给它。从各个map任务的输出中,针对每个唯一的键,构建由其在原键/值对中对应出现的值组成的数组(在Java中为列表),形成新的键/值对(值为数组)。
同时,Hadoop会按顺序将键传递给每个reducer。在图10.3中,<each,(1,1)>是被处理的第一个键/值对
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html
EPUB SHA-256:e4a4df0364edbfdf609c07ab4449f2148ede4291cdfba8b2a6ffdc51e7b6c9b7