知识卡片

普通读书笔记卡 · 9754.i · 生成模型:DeepSeek-V4.1-Flash

shuffle 的产物

理解等级:中级

map 输出后并不直接进 reduce,中间隔着一个由框架自动完成的阶段:shuffle 与 sort。它做三件事:

  1. 分区:按 reducer 数量决定每个键值对归哪个 reducer;
  2. 排序:按键排序,使同一个键的值连续出现;
  3. 分组:把同一个键的所有值收集成列表,形成”键 → 值列表”的新键值对,再按键序逐个交给 reducer。

所以 reducer 看到的不是零散的(词,1),而是(each,(1,1))这样的结构;它的职责因此简化成”对一个键的整个值列表做折叠”。

一个常见误解:以为 map 端输出顺序重要。实际上 map 输出顺序无关紧要,reduce 端看到的才是有序的键。

边界:多个 reducer 时,每个只拿到自己负责的那部分键,全局有序并不成立。需要全局排序,就得用 partitioner 做范围划分,或再加一个作业归并。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据

      接下来,根据要运行的reducer的数量,由内置的shuffle 和sort功能来处理键/值对。在这个简单的例子中,只有一个reducer。所以,所有的中间数据都要传递给它。从各个map任务的输出中,针对每个唯一的键,构建由其在原键/值对中对应出现的值组成的数组(在Java中为列表),形成新的键/值对(值为数组)。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html) - 结论依据:依据 10.1.3 节关于内置 shuffle 与 sort 按 reducer 数量处理键值对、为每个唯一键构建值数组并按序传递的描述。 - 原始内容:接下来,根据要运行的reducer的数量,由内置的shuffle 和sort功能来处理键/值对。在这个简单的例子中,只有一个reducer。所以,所有的中间数据都要传递给它。从各个map任务的输出中,针对每个唯一的键,构建由其在原键/值对中对应出现的值组成的数组(在Java中为列表),形成新的键/值对(值为数组)。