知识卡片

结构图卡 · 1776.m.1

Map连接的初始化与处理

理解等级:中级

原图Mapper先在initialize中加载小表R到哈希结构H,再在map(join_key k,tuple l)中查出同键记录并输出连接结果。初始化准备可复用查找结构,逐记录函数只做探测与组合。方法图仅表达原图真实名字和参数,原图未给出返回类型,不能擅自补上接口契约。

结构图:

classDiagram
class Mapper {
 initialize()
 map(join_key k, tuple l)
}
Mapper ..> H : 小表哈希索引
note for Mapper "原图未标返回类型;不推断框架版本签名"
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      另外一类常见的Join操作是Map-Side Join,其含义是:有些场景下,两个需要Join的数据集合L 和R ,一个大一个小(假设L 大R 小),而且小的数据集合完全可以在内存中放入,此时,只需要采用一个Map-Only MapReduce任务即可完成Join操作。Mapper的输入数据块是L 进行拆分后的内容,而由于R 足够小,所以将其分发给每个Mapper并在初始化时将其加载到内存存储,一般比较高效的方法是将R 存入内存哈希表中,以外键作为哈希表的Key,这样即可依次读入L 的记录并查找哈希表来进行Join操作,其算法如下。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落97(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:另外一类常见的Join操作是Map-Side Join,其含义是:有些场景下,两个需要Join的数据集合L 和R ,一个大一个小(假设L 大R 小),而且小的数据集合完全可以在内存中放入,此时,只需要采用一个Map-Only MapReduce任务即可完成Join操作。Mapper的输入数据块是L 进行拆分后的内容,而由于R 足够小,所以将其分发给每个Mapper并在初始化时将其加载到内存存储,一般比较高效的方法是将R 存入内存哈希表中,以外键作为哈希表的Key,这样即可依次读入L 的记录并查找哈希表来进行Join操作,其算法如下。