← 返回卡片

原书出处

数据科学与大数据分析 数据的发现 分析 可视化与表示

10 第10章 高级分析技术与工具:MapReduce和Hadoop

第1版 · 核验版本的摘录快照 · 导入于 2026-11-18T18:41:59.833Z

reducer,而其他以辅音开头的单词发送给另一个reducer。 图10.5 使用一个自定义的partitioner

作为一个更实际的例子,用户可以自定义partitioner把结果按照每一日历年分成单独的文件,供后续分析使用。同时,partitioner可以用来确保工作量被均匀地分布到reducer上。例如,如果已知某些键与很大一部分数据相关联,那么partitioner可以用来确保这些键会被分配给不同的reducer来实现更好的整体性能。否则,一个reducer可能被分配绝大多数的数据,而MapReduce任务在一个长期运行的reducer任务完成之前不会结束。

4.开发和运行Hadoop MapReduce程序 开发Hadoop MapReduce程序的一种常见方法是使用交互式

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html

EPUB SHA-256:e4a4df0364edbfdf609c07ab4449f2148ede4291cdfba8b2a6ffdc51e7b6c9b7