知识卡片

普通读书笔记卡 · 2275.as.6.j.11.a

数据交换是批量计算成本

理解等级:中级

Map和Reduce之间需要把同一键的数据组织到一起,跨节点搬运可能成为成本中心。优化时应检查交换量、分组键和数据倾斜,而不只增加计算节点。书中强调降低交换量,不证明Shuffle在任何任务中一定是唯一瓶颈。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据技术中台 11.1.1 Hadoop技术框架 · 查看原书依据

      Mapping操作执行完以后,就开始Shuffling操作。它是整个执行过程中效率最差的部分,需要在各个节点间交换数据,将同一个词的数据放到同一个节点上。如何有效地降低交换的数据量成为优化性能的关键。接着,在每个节点的本地执行Reducing操作,将同一个词的这些1加在一起,就得到了词频。最后,将分布在各个节点的结果集中到一起,就可以输出了。

    参考来源

    - 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.1.1 Hadoop技术框架”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter143.xhtml)。 - 结论依据:原文的具体说明支撑这一概括:Map和Reduce之间需要把同一键的数据组织到一起,跨节点搬运可能成为成本中心。其余范围限定用于避免超出书内证据。 - 原始内容:Mapping操作执行完以后,就开始Shuffling操作。它是整个执行过程中效率最差的部分,需要在各个节点间交换数据,将同一个词的数据放到同一个节点上。如何有效地降低交换的数据量成为优化性能的关键。接着,在每个节点的本地执行Reducing操作,将同一个词的这些1加在一起,就得到了词频。最后,将分布在各个节点的结果集中到一起,就可以输出了。