返回主题:批处理作业的写法:连接、聚合与作业抽象

知识卡片

操作参考卡 · 1776.l

Reduce侧按连接键汇合

理解等级:中级

两侧记录在Map抽取连接键并附来源标记,Shuffle让同键记录抵达同一Reduce,再按来源构建集合并匹配。重复连接键可能产生多对多的乘积输出,需评估内存与结果规模。分区和标签正确只保证数据相遇,外连接、重复处理等业务语义仍须由用户逻辑实现。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      然后,通过正常的Partition策略并经过Shuffle过程,两个数据集合中具有相同外键的记录都被分配到同一个Reducer,Reducer根据外键排序后可以将同一个外键的所有记录聚合在一起。之后,Reducer根据标识信息区分数据来源,并维护两个列表(或哈希表),分别存储来自于数据集合A 以及数据集合B 的记录内容,然后即可对数据进行Join操作并输出结果。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落94(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:然后,通过正常的Partition策略并经过Shuffle过程,两个数据集合中具有相同外键的记录都被分配到同一个Reducer,Reducer根据外键排序后可以将同一个外键的所有记录聚合在一起。之后,Reducer根据标识信息区分数据来源,并维护两个列表(或哈希表),分别存储来自于数据集合A 以及数据集合B 的记录内容,然后即可对数据进行Join操作并输出结果。