知识卡片

普通读书笔记卡 · 1776.c.3

图运算区分点连与全连接

理解等级:中级

Dryad的克隆复制子图,串联把前图输出接到后图输入,点对点描述符和完全二分连接符决定不同的数据交换范围,横向融合则合并图及共同节点。全连接表达Shuffle类交换会增加边和数据量;不能仅凭节点数量相同就把点连与全连当作等价并行执行。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      即在A的输出节点和B的输入节点之间形成完全二分图。图11-13中的子图d说明了这种情况。前文提到MapReduce计算模式可以被视为DAG的一种特例,如果对照子图d的结构和MapReduce的架构即可发现两者是同构的,即MapReduce是由并发执行的Map阶段产生的图A和Reduce阶段产生的图B串行而成的完全二分图。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落123(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:即在A的输出节点和B的输入节点之间形成完全二分图。图11-13中的子图d说明了这种情况。前文提到MapReduce计算模式可以被视为DAG的一种特例,如果对照子图d的结构和MapReduce的架构即可发现两者是同构的,即MapReduce是由并发执行的Map阶段产生的图A和Reduce阶段产生的图B串行而成的完全二分图。