知识卡片
Shuffle整理键值对
MapReduce 分 Map(过滤分发)和 Reduce(计算归并)两个阶段,从 Map 输出到 Reduce 输入的处理过程叫 Shuffle。与日常“洗牌”相反,它把 Map 产生的无规则键值对整理成相同键聚在一起的有序形式,使 Reduce 能按键统一处理,因此被称为“奇迹发生的地方”。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第5章《大数据技术介绍》"5.1.1 Hadoop生态"之"Map Reduce"(源文件:_epub-src/OEBPS/text00068.html)
- 结论依据:原文说明"Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据……Map Reduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据""Reduce的数据来源于Map,Map的输出即是Reduce的输入,Reduce需要通过Shuffle来获取数据",直接支撑本卡结论。
- 原始内容:Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。Map Reduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据