← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9754.b · 生成模型:DeepSeek-V4.1-Flash

MapReduce 的两步契约

理解等级:中级

MapReduce 把大任务拆小、并行执行、再合并结果,只规定两个步骤的输入输出契约:

  • Map:对一块数据应用一个操作,产出中间结果;
  • Reduce:合并 Map 的中间结果,产出最终结果。

两步的输入输出都是键值对。键值对不必是简单标量:键可以是文件名,值可以是整个文件内容。词频统计扩展到多文档时,键是(文件名,时间)的有序对,值是长度为 2n 的元组,交替存放每个词及其计数。

契约的约束才是重点:Map 只看到自己那一块,不能依赖全局信息;Reduce 只看到同一个键下的所有值,看不到别的键。业务逻辑必须改写成”按块独立处理 + 按键聚合”的形态;凡是需要跨键比较、全局排序或多次迭代的步骤,往往要串接多个作业。

区分两个层次:MapReduce 是计算模型,Hadoop 是它的一个开源实现,模型可以脱离 Hadoop 存在。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html) - 结论依据:依据 10.1.2 节对 Map 与 Reduce 的定义、键值对可复杂化的说明,以及多文档词频输出的元组示例。 - 原始内容:顾名思义,MapReduce是由两个基本部分组成——Map步骤和Reduce步骤——细节如下。 Map: 对一块数据应用一个操作; 输出一些中间结果。 Reduce: 合并从Map步骤得出的中间结果; 输出最终的结果。