← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1776.o

重分布连接对齐相同键

理解等级:中级

Shuffle Join将两侧按连接键分布,让相同键记录在同一工作节点参与连接。它不要求一侧完整装入每台机器,却付出网络与分区处理成本,热点键还可能造成不均衡。广播与重分布是数据移动策略,不是SQL语义的不同。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 交互式数据分析 · 查看原书依据

      对Shuffle Join来说,Map阶段通过哈希方式将两个数据表根据Join Key切割成数据分片,使得两个表中具有 相同Join Key的数据分布到同一台机器上,Reduce阶段执行真正的Join操作。

    参考来源

    - 位置:《大数据日知录:架构与算法》第13章《交互式数据分析》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00018.html) - 结论依据:原文在本章对重分布连接对齐相同键给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:对Shuffle Join来说,Map阶段通过哈希方式将两个数据表根据Join Key切割成数据分片,使得两个表中具有 相同Join Key的数据分布到同一台机器上,Reduce阶段执行真正的Join操作。