知识卡片

结构图卡 · 2275.as.6.j.11

词频任务展示MapReduce

理解等级:中级

词频任务先把文本拆分,Map产生“词→1”,Shuffle把相同词的记录归到可汇总的分组,Reduce把各组计数相加。框架处理大量调度与数据交换细节,开发者聚焦映射与汇总。输入划分和聚合键必须匹配任务语义。

结构图:

flowchart TD
 A[拆分文本输入] --> B[Map产生词与1]
 B --> C[按词Shuffle分组]
 C --> D[Reduce累加计数]
 D --> E[输出词频]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据技术中台 11.1.1 Hadoop技术框架 · 查看原书依据

      MapReduce计算词频的处理过程如图11-5所示。在这个过程中,首先输入要处理的数据文件,经过Splitting将其拆分到各个节点中,并在这些节点的本地执行Mapping,将其制作成一个Map。不同的任务可以设计不同的Map。譬如,现在的任务是计算词频,因此该Map的key是不同的词,value是1。这样,在后续的处理过程中,将相同词的1加在一起就是该词的词频了。

    参考来源

    - 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.1.1 Hadoop技术框架”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter143.xhtml)。 - 结论依据:原文的具体说明支撑这一概括:词频任务先把文本拆分,Map产生“词→1”,Shuffle把相同词的记录归到可汇总的分组,Reduce把各组计数相加。其余范围限定用于避免超出书内证据。 - 原始内容:MapReduce计算词频的处理过程如图11-5所示。在这个过程中,首先输入要处理的数据文件,经过Splitting将其拆分到各个节点中,并在这些节点的本地执行Mapping,将其制作成一个Map。不同的任务可以设计不同的Map。譬如,现在的任务是计算词频,因此该Map的key是不同的词,value是1。这样,在后续的处理过程中,将相同词的1加在一起就是该词的词频了。