知识卡片

结构图卡 · 9754.c · 生成模型:DeepSeek-V4.1-Flash

MapReduce 计数执行链

理解等级:中级

以词频统计为例,一条数据在集群里的完整路径如图。

切块:HDFS 上的文件按 64MB 切分,每个块尽量落在不同机器。Map:每个块起一个 map 任务,逐行读文本、切成单词,输出(词,1);同一行里出现两次也照样各发一次,去重不归它管。Combiner(可选):在 map 端先做局部求和,把一万个(the,1)压成一个(the,10000)。Shuffle 与 Sort:按 reducer 数量分区,把相同键的值聚成列表,按键排序后逐个交给 reducer。Reduce:对每个键的值列表求和,输出(词,总次数)。落盘:结果按 64MB 分块、三副本写回 HDFS。

图里每一步都在 Hadoop 内部完成,用户只写 map 与 reduce 两个函数;调度、监控、数据分布、中间结果搬运由框架承担。这就是”模型简单、实现不易”的含义:抽象只有两步,运行时却有六类协调工作。

结构图:

flowchart TD
  A[输入文件] --> B[按64MB切块]
  B --> C[map任务逐块处理]
  C --> D[输出中间键值对]
  D --> E[combiner本地预聚合]
  E --> F[shuffle按键排序分组]
  F --> G[partitioner分配reducer]
  G --> H[reduce按键汇总]
  H --> I[结果写回HDFS]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html) - 结论依据:依据 10.1.2 节图 10.1 的词频示例,以及 10.1.3 节列出的 MapReduce 任务需要协调的多项活动。 - 原始内容:在这个例子中,Map步骤将给定的文本字符串解析为一个个的单词,然后以<word,1>的形式输出一组键/值对。对于每一个独特的键值——在本例中为word——Reduce步骤算出其出现次数的总和count,然后输出<word,count>键/值对。