原书出处
数据科学与大数据分析 数据的发现 分析 可视化与表示
10 第10章 高级分析技术与工具:MapReduce和Hadoop
总和。图10.4所示为combiner是如何在简单的单词计数示例中处理一个字符串的。 图10.4 使用combiner
因此,在生产环境中,不是把一万个可能的<the,1 >键/值对从map任务输出到shuffle和sort中,而是由combiner输出一个<the,10000 >键/值对。reducer步骤仍然接收到每个单词的值列表,但是键不会有一个长度高达100万的值列表(1,1,…,1)。对于一个键,reducer得到的值列表,其长度最多和运行的map任务的数量一样,如列表(10000,964,…,8345)。使用combiner可以最大限度地减少必须由reducer存储、通过网络传输和处理的中间map输出。
另一个有用的选项是partitioner。它决定了每个reducer接收到的键和相应值列表。借助于前面那个简单的单词计
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html
EPUB SHA-256:e4a4df0364edbfdf609c07ab4449f2148ede4291cdfba8b2a6ffdc51e7b6c9b7