知识卡片

结构图卡 · 1778.f

ORDER BY全局排序与DISTRIBUTE BY+SORT BY分区排序的底层差异

理解等级:未标注

HQL提供的几种排序语句表面相似,但底层对应的MapReduce执行方式截然不同,直接决定了它们的适用规模。ORDER BY是严格意义上的全局排序——要保证输出结果整体有序,唯一的办法是最终只启动一个Reduce Task来汇总所有数据、在这一个Task内完成排序,这意味着无论上游有多少并行度,排序这一步都会收敛到单点,当数据量特别大时这个Reduce Task会成为明显的性能瓶颈甚至内存瓶颈。SORT BY则只保证”每个Reduce Task内部有序”,不保证全局整体有序,因为它允许启动多个Reduce Task并行分别排序——代价是全局结果被拆散在了多个文件里,各文件内部有序但文件之间的相对顺序不保证。DISTRIBUTE BY负责按指定字段(或表达式)把数据划分到对应的Reduce Task,本身不排序;CLUSTER BY则是DISTRIBUTE BY和SORT BY按同一字段组合的简写。当数据量很大、又确实需要按某个键把相关数据聚在一起处理时,实践中更推荐的做法是DISTRIBUTE BY结合SORT BY(用DISTRIBUTE BY把同一分组键的数据分发到同一个Reduce Task、组内再用SORT BY排序),这样能利用多个Reduce Task并行处理,避免ORDER BY那种被迫收敛到单点的性能代价——只是牺牲了”整个结果文件全局严格有序”这个更强的保证,换成”同一分发键进入同一Reduce分区、分区内按排序键有序”这个较弱保证;不同键组可能由同一Task输出到同一文件。可迁移启发:这是[[MapTask与ReduceTask的十阶段执行流程]]里提到的”局部排序+归并排序”思路的一个变体——当”全局严格排序”和”按分组键并行排序”两种需求都能满足业务要求时,优先选后者以获得并行度,只有业务确实要求整个结果集端到端严格有序时,才值得承受ORDER BY强制单点收敛的代价。

结构图:

flowchart TB
  A["HQL排序语句"]
  A --> O["ORDER BY<br/>全局严格排序<br/>强制单个Reduce Task,大数据量下成瓶颈"]
  A --> S["SORT BY<br/>每个Reduce Task内部有序<br/>可并行多Task,不保证全局顺序"]
  A --> D["DISTRIBUTE BY<br/>按字段分发到对应Reduce Task(不排序)"]
  D -->|"+SORT BY组合"| C["CLUSTER BY(简写)<br/>=按同字段DISTRIBUTE BY+SORT BY<br/>推荐:大数据量分组排序场景"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第14章《数据分析语言HQL与SQL》之"14.4.1 HQL基本语法"(源文件:_epub-src/OEBPS/text00114.html) - 结论依据:原文说明"ORDER BY用于全局排序,就是对指定的所有排序键进行全局排序,使用ORDER BY的查询语句,最后会用一个Reduce Task来完成全局排序(即只会启动一个Reduce Task);SORT BY用于分区内排序,即每个Reduce任务内排序(即最终启动多个Reduce Task并行排序)……当数据量特别大,需要对最终结果进行排序时,建议采用DISTRIBUTE BY结合SORT BY语句", 支撑全局与分区内排序的区别;一个Reduce Task可处理多个分发键,不能推出每组独占一个文件。 - 原始内容:CLUSTER BY等价于DISTRIBUTE BY与SORT BY组合。