← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.q.7

Map侧连接三变体

理解等级:未标注

与[[排序合并连接]]不同,若能对输入做假设,Map 侧连接可省去排序与 Reducer。广播散列连接:小数据集能装进内存,每个 Mapper 启动时把它载入哈希表。分区散列连接:两侧按相同的键、哈希函数和分区数分区,每个 Mapper 只读两侧对应分区。Map 侧合并连接:两侧不仅分区相同,还各自按键排好序,Mapper 可直接归并扫描。代价是对输入大小、分区与排序做了更强假设,这些假设往往由前一个作业保证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十章《批处理》"Map侧连接""广播散列连接""分区散列连接""Map侧合并连接"(源文件:_epub-src/ch10_split_003.html) - 结论依据:原文分别描述广播散列连接(小数据集整体载入内存哈希表)、分区散列连接(两侧相同分区方式各自局部哈希)、Map侧合并连接(两侧同分区且同排序时归并扫描)三种Map侧连接变体及其对输入的前提假设,直接支撑本卡片的分类总结。 - 原始内容:这种简单有效的算法被称为广播散列连接……如果Map侧连接的输入以相同的方式进行分区,则散列连接方法可以独立应用于每个分区……如果输入数据集不仅以相同的方式进行分区,而且还基于相同的键进行排序,则可适用另一种Map侧连接的变体。