知识卡片
词频任务展示MapReduce
词频任务先把文本拆分,Map产生“词→1”,Shuffle把相同词的记录归到可汇总的分组,Reduce把各组计数相加。框架处理大量调度与数据交换细节,开发者聚焦映射与汇总。输入划分和聚合键必须匹配任务语义。
结构图:
flowchart TD
A[拆分文本输入] --> B[Map产生词与1]
B --> C[按词Shuffle分组]
C --> D[Reduce累加计数]
D --> E[输出词频]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据技术中台 11.1.1 Hadoop技术框架 · 查看原书依据
MapReduce计算词频的处理过程如图11-5所示。在这个过程中,首先输入要处理的数据文件,经过Splitting将其拆分到各个节点中,并在这些节点的本地执行Mapping,将其制作成一个Map。不同的任务可以设计不同的Map。譬如,现在的任务是计算词频,因此该Map的key是不同的词,value是1。这样,在后续的处理过程中,将相同词的1加在一起就是该词的词频了。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.1.1 Hadoop技术框架”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter143.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:词频任务先把文本拆分,Map产生“词→1”,Shuffle把相同词的记录归到可汇总的分组,Reduce把各组计数相加。其余范围限定用于避免超出书内证据。
- 原始内容:MapReduce计算词频的处理过程如图11-5所示。在这个过程中,首先输入要处理的数据文件,经过Splitting将其拆分到各个节点中,并在这些节点的本地执行Mapping,将其制作成一个Map。不同的任务可以设计不同的Map。譬如,现在的任务是计算词频,因此该Map的key是不同的词,value是1。这样,在后续的处理过程中,将相同词的1加在一起就是该词的词频了。