← 返回卡片

原书出处

大数据日知录_架构与算法

11 大规模批处理系统

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.135Z

然后,通过正常的Partition策略并经过Shuffle过程,两个数据集合中具有相同外键的记录都被分配到同一个Reducer,Reducer根据外键排序后可以将同一个外键的所有记录聚合在一起。之后,Reducer根据标识信息区分数据来源,并维护两个列表(或哈希表),分别存储来自于数据集合A 以及数据集合B 的记录内容,然后即可对数据进行Join操作并输出结果。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d