知识卡片

普通读书笔记卡 · 2698.b

Reduce聚合边界

理解等级:未标注

Reduce 处理的是一个分区里的中间键值对,对每个不同的键调用一次 reduce 函数,拿到的是该键全部值的列表(已由框架归并、排序)。因此键的设计决定负载是否均衡:某个热点键的值特别多,处理它的 Reduce 就会拖慢整个作业。分区和排序在 Reduce 之前完成,见[[Map输出分区排序]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《云计算:从基础架构到最佳实践》第12章《分布式云计算》(源文件:_epub-src/OEBPS/Text/part0020_split_001.html、_epub-src/OEBPS/Text/part0020_split_003.html) - 结论依据:原文说明Reduce作业处理一个分区的中间键值对,对每个不同的键调用一次Reduce函数;Reduce的values是同一键的多个输出值,经归并、排序后重新组织。数据倾斜为审查补充的推论。 - 原始内容:●Reduce作业处理一个分区的中间键值对,期间要对每个不同的键调用一次Reduce函数,Reduce作业最终只对应一个输出文件。……values里的值经由Hadoop对Map输出通过归并、排序后重新组织。