知识卡片
MapReduce 的两步契约
MapReduce 把大任务拆小、并行执行、再合并结果,只规定两个步骤的输入输出契约:
- Map:对一块数据应用一个操作,产出中间结果;
- Reduce:合并 Map 的中间结果,产出最终结果。
两步的输入输出都是键值对。键值对不必是简单标量:键可以是文件名,值可以是整个文件内容。词频统计扩展到多文档时,键是(文件名,时间)的有序对,值是长度为 2n 的元组,交替存放每个词及其计数。
契约的约束才是重点:Map 只看到自己那一块,不能依赖全局信息;Reduce 只看到同一个键下的所有值,看不到别的键。业务逻辑必须改写成”按块独立处理 + 按键聚合”的形态;凡是需要跨键比较、全局排序或多次迭代的步骤,往往要串接多个作业。
区分两个层次:MapReduce 是计算模型,Hadoop 是它的一个开源实现,模型可以脱离 Hadoop 存在。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
顾名思义,MapReduce是由两个基本部分组成——Map步骤和Reduce步骤——细节如下。 Map: 对一块数据应用一个操作; 输出一些中间结果。 Reduce: 合并从Map步骤得出的中间结果; 输出最终的结果。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html)
- 结论依据:依据 10.1.2 节对 Map 与 Reduce 的定义、键值对可复杂化的说明,以及多文档词频输出的元组示例。
- 原始内容:顾名思义,MapReduce是由两个基本部分组成——Map步骤和Reduce步骤——细节如下。 Map: 对一块数据应用一个操作; 输出一些中间结果。 Reduce: 合并从Map步骤得出的中间结果; 输出最终的结果。