知识卡片
排序合并连接
批处理中关联活动日志与用户档案,不能逐条查询远程数据库:吞吐量会被网络往返拖垮,远程数据随时变化还会让结果不确定。更好的做法是把两侧数据都放进分布式文件系统,Mapper 各自提取连接键,框架按键分区排序后,相同键的记录自然相邻,进入同一次 Reducer 调用,称为排序合并连接。这把从正确机器取数据的网络问题,与拿到数据后的处理逻辑分开,Reducer 可以是简单的单线程代码。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十章:批处理
原书出处 · 1 处
- 第十章:批处理 · 查看原书依据
这种简单有效的算法被称为广播散列连接(broadcast hash join):广播一词反映了这样一个事实,每个连接较大输入端分区的Mapper都会将较小输入端数据集整个读入内存中(所以较小输入实际上“广播”到较大数据的所有分区上),散列一词反映了它使用一个散列表。
参考来源
- 位置:《数据密集型应用系统设计》第十章《批处理》"示例:用户活动事件分析""排序合并连接""把相关数据放在一起"(源文件:_epub-src/ch10_split_003.html)
- 结论依据:原文说明为每条记录发起远程查询会因网络往返拖慢吞吐量并引入非确定性,给出让两侧数据都在分布式文件系统中经Mapper提取键、按键排序后在Reducer合并的排序合并连接方案,并将键的作用类比为消息地址,直接支撑本卡片结论。
- 原始内容:为待处理的每条记录发起随机访问的网络请求实在是太慢了……当一个Mapper发出一个键值对时,这个键的作用就像值应该传递到的目标地址……这种简单有效的算法被称为广播散列连接(broadcast hash join):广播一词反映了这样一个事实,每个连接较大输入端分区的Mapper都会将较小输入端数据集整个读入内存中(所以较小输入实际上“广播”到较大数据的所有分区上),散列一词反映了它使用一个散列表。