知识卡片
小表驻内存做Map连接
一侧数据足够小且可完整装入每个Mapper内存时,先载入并按连接键建哈希表,再逐条扫描大表匹配,避免大表Shuffle。小表大小需考虑并发Mapper的总内存和版本一致性,多值键要保留全部匹配;超出内存或频繁变化的小表不宜直接照搬这一模式。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- 大规模批处理系统 · 查看原书依据
另外一类常见的Join操作是Map-Side Join,其含义是:有些场景下,两个需要Join的数据集合L 和R ,一个大一个小(假设L 大R 小),而且小的数据集合完全可以在内存中放入,此时,只需要采用一个Map-Only MapReduce任务即可完成Join操作。Mapper的输入数据块是L 进行拆分后的内容,而由于R 足够小,所以将其分发给每个Mapper并在初始化时将其加载到内存存储,一般比较高效的方法是将R 存入内存哈希表中,以外键作为哈希表的Key,这样即可依次读入L 的记录并查找哈希表来进行Join操作,其算法如下。
- 交互式数据分析 · 查看原书依据
在前面介绍Hive优化时提到过Map Join,其另一个叫法是Broadcast Join,是指当两个要进行Join操作的数据表一大一小时,可以将小表完整地分发到各个计算节点,与大表的数据分片在计算节点进行Join操作,因为避免了Shuffle过程,所以Map Join的效率明显比Shuffle Join要高,但只有两个表中有小表才能按这种方式执行,而Shuffle Join则无此限制。
参考来源
- 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落97(OEBPS/text00016.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:另外一类常见的Join操作是Map-Side Join,其含义是:有些场景下,两个需要Join的数据集合L 和R ,一个大一个小(假设L 大R 小),而且小的数据集合完全可以在内存中放入,此时,只需要采用一个Map-Only MapReduce任务即可完成Join操作。Mapper的输入数据块是L 进行拆分后的内容,而由于R 足够小,所以将其分发给每个Mapper并在初始化时将其加载到内存存储,一般比较高效的方法是将R 存入内存哈希表中,以外键作为哈希表的Key,这样即可依次读入L 的记录并查找哈希表来进行Join操作,其算法如下。
- 合并补充来源:《大数据日知录:架构与算法》第13章;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00018.html;SHA256:c5487380631e8f2ca0b6ce9bf5a0f88c94afd3291c5434933b3d27bca687b4a7;摘录出现次序:1。
- 本章原始内容:在前面介绍Hive优化时提到过Map Join,其另一个叫法是Broadcast Join,是指当两个要进行Join操作的数据表一大一小时,可以将小表完整地分发到各个计算节点,与大表的数据分片在计算节点进行Join操作,因为避免了Shuffle过程,所以Map Join的效率明显比Shuffle Join要高,但只有两个表中有小表才能按这种方式执行,而Shuffle Join则无此限制。