知识卡片
ORDER BY全局排序与DISTRIBUTE BY+SORT BY分区排序的底层差异
HQL提供的几种排序语句表面相似,但底层对应的MapReduce执行方式截然不同,直接决定了它们的适用规模。ORDER BY是严格意义上的全局排序——要保证输出结果整体有序,唯一的办法是最终只启动一个Reduce Task来汇总所有数据、在这一个Task内完成排序,这意味着无论上游有多少并行度,排序这一步都会收敛到单点,当数据量特别大时这个Reduce Task会成为明显的性能瓶颈甚至内存瓶颈。SORT BY则只保证”每个Reduce Task内部有序”,不保证全局整体有序,因为它允许启动多个Reduce Task并行分别排序——代价是全局结果被拆散在了多个文件里,各文件内部有序但文件之间的相对顺序不保证。DISTRIBUTE BY负责按指定字段(或表达式)把数据划分到对应的Reduce Task,本身不排序;CLUSTER BY则是DISTRIBUTE BY和SORT BY按同一字段组合的简写。当数据量很大、又确实需要按某个键把相关数据聚在一起处理时,实践中更推荐的做法是DISTRIBUTE BY结合SORT BY(用DISTRIBUTE BY把同一分组键的数据分发到同一个Reduce Task、组内再用SORT BY排序),这样能利用多个Reduce Task并行处理,避免ORDER BY那种被迫收敛到单点的性能代价——只是牺牲了”整个结果文件全局严格有序”这个更强的保证,换成”同一分发键进入同一Reduce分区、分区内按排序键有序”这个较弱保证;不同键组可能由同一Task输出到同一文件。可迁移启发:这是[[MapTask与ReduceTask的十阶段执行流程]]里提到的”局部排序+归并排序”思路的一个变体——当”全局严格排序”和”按分组键并行排序”两种需求都能满足业务要求时,优先选后者以获得并行度,只有业务确实要求整个结果集端到端严格有序时,才值得承受ORDER BY强制单点收敛的代价。
结构图:
flowchart TB
A["HQL排序语句"]
A --> O["ORDER BY<br/>全局严格排序<br/>强制单个Reduce Task,大数据量下成瓶颈"]
A --> S["SORT BY<br/>每个Reduce Task内部有序<br/>可并行多Task,不保证全局顺序"]
A --> D["DISTRIBUTE BY<br/>按字段分发到对应Reduce Task(不排序)"]
D -->|"+SORT BY组合"| C["CLUSTER BY(简写)<br/>=按同字段DISTRIBUTE BY+SORT BY<br/>推荐:大数据量分组排序场景"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。