知识卡片
重分布连接对齐相同键
Shuffle Join将两侧按连接键分布,让相同键记录在同一工作节点参与连接。它不要求一侧完整装入每台机器,却付出网络与分区处理成本,热点键还可能造成不均衡。广播与重分布是数据移动策略,不是SQL语义的不同。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 交互式数据分析 · 查看原书依据
对Shuffle Join来说,Map阶段通过哈希方式将两个数据表根据Join Key切割成数据分片,使得两个表中具有 相同Join Key的数据分布到同一台机器上,Reduce阶段执行真正的Join操作。
参考来源
- 位置:《大数据日知录:架构与算法》第13章《交互式数据分析》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00018.html)
- 结论依据:原文在本章对重分布连接对齐相同键给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:对Shuffle Join来说,Map阶段通过哈希方式将两个数据表根据Join Key切割成数据分片,使得两个表中具有 相同Join Key的数据分布到同一台机器上,Reduce阶段执行真正的Join操作。