← 返回卡片

原书出处

大数据日知录_架构与算法

11 大规模批处理系统

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.135Z

Mapper逻辑很简单,只需要将记录中要排序的字段作为Key,记录内容作为Value输出即可。如果设定一个Reducer,那么Reduce过程不需要做额外工作,只需以原样输出即可,因为Reduce过程已经对所有数据进行了全局排序。但是如果设定多个Reducer,那么需要在Partition策略上做些研究,因为尽管每个Reducer负责的部分数据是有序的,但是多个Reducer产生了多份部分有序结果,仍然没有得到所需要的全局排序结果。此时,可以通过Partition策略,在将数据分发到不同Reducer的时候,保证不同Reducer处理一个范围区间的记录,比如Key的范围是1~10000,那么可以将1~1000的Key记录交给第1个Reducer处理,1001~2000交给第2个Reducer处理……依次类推,这样将所有结果顺序拼接即可得到全局有序的记录。一种Partition策略列举如下。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d