返回主题:批处理作业的写法:连接、聚合与作业抽象

知识卡片

操作参考卡 · 1776.k

范围分区形成全局排序

理解等级:中级

Map以排序字段为键,采用互不重叠且有序的范围分区,各Reduce内部按键排序,再按分区顺序读取输出,才能形成全局有序结果。只让每个Reducer局部有序不足以保证全局顺序。原文等宽公式还要处理最大值、零宽区间和边界归属,倾斜数据宜据分布选择切分点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      Mapper逻辑很简单,只需要将记录中要排序的字段作为Key,记录内容作为Value输出即可。如果设定一个Reducer,那么Reduce过程不需要做额外工作,只需以原样输出即可,因为Reduce过程已经对所有数据进行了全局排序。但是如果设定多个Reducer,那么需要在Partition策略上做些研究,因为尽管每个Reducer负责的部分数据是有序的,但是多个Reducer产生了多份部分有序结果,仍然没有得到所需要的全局排序结果。此时,可以通过Partition策略,在将数据分发到不同Reducer的时候,保证不同Reducer处理一个范围区间的记录,比如Key的范围是1~10000,那么可以将1~1000的Key记录交给第1个Reducer处理,1001~2000交给第2个Reducer处理……依次类推,这样将所有结果顺序拼接即可得到全局有序的记录。一种Partition策略列举如下。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落82(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:Mapper逻辑很简单,只需要将记录中要排序的字段作为Key,记录内容作为Value输出即可。如果设定一个Reducer,那么Reduce过程不需要做额外工作,只需以原样输出即可,因为Reduce过程已经对所有数据进行了全局排序。但是如果设定多个Reducer,那么需要在Partition策略上做些研究,因为尽管每个Reducer负责的部分数据是有序的,但是多个Reducer产生了多份部分有序结果,仍然没有得到所需要的全局排序结果。此时,可以通过Partition策略,在将数据分发到不同Reducer的时候,保证不同Reducer处理一个范围区间的记录,比如Key的范围是1~10000,那么可以将1~1000的Key记录交给第1个Reducer处理,1001~2000交给第2个Reducer处理……依次类推,这样将所有结果顺序拼接即可得到全局有序的记录。一种Partition策略列举如下。