知识卡片
排序连接大数据
内容
MapReduce 的 shuffle 通过分区和排序把相同键的数据送到同一 reducer,使连接、分组、聚合都能局部完成。排序不是附属步骤,而是把分布式问题变成可并行归并的结构。它牺牲中间 I/O,换来简单可靠的执行模型。
参考来源
《数据密集型应用系统设计》第10章《批处理》
知识卡片
MapReduce 的 shuffle 通过分区和排序把相同键的数据送到同一 reducer,使连接、分组、聚合都能局部完成。排序不是附属步骤,而是把分布式问题变成可并行归并的结构。它牺牲中间 I/O,换来简单可靠的执行模型。