← 返回卡片

原书出处

大数据日知录_架构与算法

11 大规模批处理系统

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.136Z

另外一类常见的Join操作是Map-Side Join,其含义是:有些场景下,两个需要Join的数据集合L 和R ,一个大一个小(假设L 大R 小),而且小的数据集合完全可以在内存中放入,此时,只需要采用一个Map-Only MapReduce任务即可完成Join操作。Mapper的输入数据块是L 进行拆分后的内容,而由于R 足够小,所以将其分发给每个Mapper并在初始化时将其加载到内存存储,一般比较高效的方法是将R 存入内存哈希表中,以外键作为哈希表的Key,这样即可依次读入L 的记录并查找哈希表来进行Join操作,其算法如下。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d