知识卡片
combiner 的预聚合
combiner 是 map 与 shuffle 之间的可选环节,逻辑通常与 reducer 相同,但作用范围限于单个 map 任务的输出。
词频统计里,某个 map 处理的分片上”the”出现一万次:没有 combiner 就要向 shuffle 发一万个(the,1);有 combiner 则先本地求和,只发一个(the,10000)。reducer 仍收到值列表,但列表长度从”该词总出现次数”降到”最多等于 map 任务数”。
收益是三重节省:map 端内存与磁盘溢出更少、网络传输更少、reducer 处理量更小。
成立条件:合并必须满足结合律与交换律,且不改变最终结果。求和、求最大、计数都满足;求平均值不行——必须先化成一(和,计数)二元组,再在 reducer 里相除,否则”各分片平均值的平均”不是全局平均。
边界:框架不保证 combiner 执行零次、一次还是多次,所以不能把有副作用的逻辑放进去;它优化的是传输量,不是正确性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
因此,在生产环境中,不是把一万个可能的<the,1 >键/值对从map任务输出到shuffle和sort中,而是由combiner输出一个<the,10000 >键/值对。reducer步骤仍然接收到每个单词的值列表,但是键不会有一个长度高达100万的值列表(1,1,…,1)。对于一个键,reducer得到的值列表,其长度最多和运行的map任务的数量一样,如列表(10000,964,…,8345)。使用combiner可以最大限度地减少必须由reducer存储、通过网络传输和处理的中间map输出。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html)
- 结论依据:依据 10.1.3 节对 combiner 与 reducer 同逻辑、在 map 端先行聚合以减少中间输出的说明,以及一万个键值对压缩为一个的示例。
- 原始内容:因此,在生产环境中,不是把一万个可能的<the,1 >键/值对从map任务输出到shuffle和sort中,而是由combiner输出一个<the,10000 >键/值对。reducer步骤仍然接收到每个单词的值列表,但是键不会有一个长度高达100万的值列表(1,1,…,1)。对于一个键,reducer得到的值列表,其长度最多和运行的map任务的数量一样,如列表(10000,964,…,8345)。使用combiner可以最大限度地减少必须由reducer存储、通过网络传输和处理的中间map输出。