知识卡片
Reduce侧按连接键汇合
两侧记录在Map抽取连接键并附来源标记,Shuffle让同键记录抵达同一Reduce,再按来源构建集合并匹配。重复连接键可能产生多对多的乘积输出,需评估内存与结果规模。分区和标签正确只保证数据相遇,外连接、重复处理等业务语义仍须由用户逻辑实现。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大规模批处理系统 · 查看原书依据
然后,通过正常的Partition策略并经过Shuffle过程,两个数据集合中具有相同外键的记录都被分配到同一个Reducer,Reducer根据外键排序后可以将同一个外键的所有记录聚合在一起。之后,Reducer根据标识信息区分数据来源,并维护两个列表(或哈希表),分别存储来自于数据集合A 以及数据集合B 的记录内容,然后即可对数据进行Join操作并输出结果。
参考来源
- 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落94(OEBPS/text00016.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:然后,通过正常的Partition策略并经过Shuffle过程,两个数据集合中具有相同外键的记录都被分配到同一个Reducer,Reducer根据外键排序后可以将同一个外键的所有记录聚合在一起。之后,Reducer根据标识信息区分数据来源,并维护两个列表(或哈希表),分别存储来自于数据集合A 以及数据集合B 的记录内容,然后即可对数据进行Join操作并输出结果。