知识卡片
Map侧连接三变体
与[[排序合并连接]]不同,若能对输入做假设,Map 侧连接可省去排序与 Reducer。广播散列连接:小数据集能装进内存,每个 Mapper 启动时把它载入哈希表。分区散列连接:两侧按相同的键、哈希函数和分区数分区,每个 Mapper 只读两侧对应分区。Map 侧合并连接:两侧不仅分区相同,还各自按键排好序,Mapper 可直接归并扫描。代价是对输入大小、分区与排序做了更强假设,这些假设往往由前一个作业保证。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十章:批处理
原书出处 · 1 处
- 第十章:批处理 · 查看原书依据
如果输入数据集不仅以相同的方式进行分区,而且还基于相同的键进行排序,则可适用另一种Map侧连接的变体。
参考来源
- 位置:《数据密集型应用系统设计》第十章《批处理》"Map侧连接""广播散列连接""分区散列连接""Map侧合并连接"(源文件:_epub-src/ch10_split_003.html)
- 结论依据:原文分别描述广播散列连接(小数据集整体载入内存哈希表)、分区散列连接(两侧相同分区方式各自局部哈希)、Map侧合并连接(两侧同分区且同排序时归并扫描)三种Map侧连接变体及其对输入的前提假设,直接支撑本卡片的分类总结。
- 原始内容:这种简单有效的算法被称为广播散列连接……如果Map侧连接的输入以相同的方式进行分区,则散列连接方法可以独立应用于每个分区……如果输入数据集不仅以相同的方式进行分区,而且还基于相同的键进行排序,则可适用另一种Map侧连接的变体。