原书出处
大数据日知录_架构与算法
11 大规模批处理系统
另外一类常见的Join操作是Map-Side Join,其含义是:有些场景下,两个需要Join的数据集合L 和R ,一个大一个小(假设L 大R 小),而且小的数据集合完全可以在内存中放入,此时,只需要采用一个Map-Only MapReduce任务即可完成Join操作。Mapper的输入数据块是L 进行拆分后的内容,而由于R 足够小,所以将其分发给每个Mapper并在初始化时将其加载到内存存储,一般比较高效的方法是将R 存入内存哈希表中,以外键作为哈希表的Key,这样即可依次读入L 的记录并查找哈希表来进行Join操作,其算法如下。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d