知识卡片
MapReduce 计数执行链
以词频统计为例,一条数据在集群里的完整路径如图。
切块:HDFS 上的文件按 64MB 切分,每个块尽量落在不同机器。Map:每个块起一个 map 任务,逐行读文本、切成单词,输出(词,1);同一行里出现两次也照样各发一次,去重不归它管。Combiner(可选):在 map 端先做局部求和,把一万个(the,1)压成一个(the,10000)。Shuffle 与 Sort:按 reducer 数量分区,把相同键的值聚成列表,按键排序后逐个交给 reducer。Reduce:对每个键的值列表求和,输出(词,总次数)。落盘:结果按 64MB 分块、三副本写回 HDFS。
图里每一步都在 Hadoop 内部完成,用户只写 map 与 reduce 两个函数;调度、监控、数据分布、中间结果搬运由框架承担。这就是”模型简单、实现不易”的含义:抽象只有两步,运行时却有六类协调工作。
结构图:
flowchart TD
A[输入文件] --> B[按64MB切块]
B --> C[map任务逐块处理]
C --> D[输出中间键值对]
D --> E[combiner本地预聚合]
E --> F[shuffle按键排序分组]
F --> G[partitioner分配reducer]
G --> H[reduce按键汇总]
H --> I[结果写回HDFS]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
在这个例子中,Map步骤将给定的文本字符串解析为一个个的单词,然后以<word,1>的形式输出一组键/值对。对于每一个独特的键值——在本例中为word——Reduce步骤算出其出现次数的总和count,然后输出<word,count>键/值对。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html)
- 结论依据:依据 10.1.2 节图 10.1 的词频示例,以及 10.1.3 节列出的 MapReduce 任务需要协调的多项活动。
- 原始内容:在这个例子中,Map步骤将给定的文本字符串解析为一个个的单词,然后以<word,1>的形式输出一组键/值对。对于每一个独特的键值——在本例中为word——Reduce步骤算出其出现次数的总和count,然后输出<word,count>键/值对。