知识卡片
shuffle 的产物
map 输出后并不直接进 reduce,中间隔着一个由框架自动完成的阶段:shuffle 与 sort。它做三件事:
- 分区:按 reducer 数量决定每个键值对归哪个 reducer;
- 排序:按键排序,使同一个键的值连续出现;
- 分组:把同一个键的所有值收集成列表,形成”键 → 值列表”的新键值对,再按键序逐个交给 reducer。
所以 reducer 看到的不是零散的(词,1),而是(each,(1,1))这样的结构;它的职责因此简化成”对一个键的整个值列表做折叠”。
一个常见误解:以为 map 端输出顺序重要。实际上 map 输出顺序无关紧要,reduce 端看到的才是有序的键。
边界:多个 reducer 时,每个只拿到自己负责的那部分键,全局有序并不成立。需要全局排序,就得用 partitioner 做范围划分,或再加一个作业归并。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
接下来,根据要运行的reducer的数量,由内置的shuffle 和sort功能来处理键/值对。在这个简单的例子中,只有一个reducer。所以,所有的中间数据都要传递给它。从各个map任务的输出中,针对每个唯一的键,构建由其在原键/值对中对应出现的值组成的数组(在Java中为列表),形成新的键/值对(值为数组)。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html)
- 结论依据:依据 10.1.3 节关于内置 shuffle 与 sort 按 reducer 数量处理键值对、为每个唯一键构建值数组并按序传递的描述。
- 原始内容:接下来,根据要运行的reducer的数量,由内置的shuffle 和sort功能来处理键/值对。在这个简单的例子中,只有一个reducer。所以,所有的中间数据都要传递给它。从各个map任务的输出中,针对每个唯一的键,构建由其在原键/值对中对应出现的值组成的数组(在Java中为列表),形成新的键/值对(值为数组)。