知识卡片

结构图卡 · 9908.j · 生成模型:Hunyuan

TensorFlow任务关系图与并行调度

理解等级:中级

TensorFlow 直译“张量流动”,核心是把模型训练转成由操作节点和边组成的有向图,让张量沿边流动直到输出层。任何复杂模型都能转成这种操作图,既利于模块化与灵活定义结构,又能厘清操作依赖、判断哪些可并行。调度时,有依赖的节点或子图必须串行,无依赖的可并行,靠一个任务队列实现:当前驱全部完成就把任务入队,空闲计算节点从队首取任务执行。与 Spark DAG 不同,TensorFlow 不要求图无环,因此能训练 RNN 这类有环路的模型;它的任务粒度细到单个操作,靠并行互不依赖的子任务加速,而 Spark 的并行更多在 join、reduce 这类粗粒度任务内部。

结构图:

flowchart LR
    I[Input 输入] --> O1[Operation 1]
    I --> O3[Operation 3]
    O1 --> SG1[Subgraph 1 串行]
    O1 --> SG2[Subgraph 2 串行]
    SG2 --> O2[Operation 2]
    SG2 --> O4[Operation 4]
    O3 --> O4
    O2 --> E[输出]
    O4 --> E
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度学习推荐系统的工程实现 · 查看原书依据

      事实上,任何复杂模型都可以转化为操作有向图的形式。这样做不仅有利于操作的模块化,以及定义和实现模型结构的灵活性,而且可以厘清各操作间的依赖关系,有利于判定哪些操作可以并行执行,哪些操作只能串行执行

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_004.html) - 结论依据:原文指出任何复杂模型都可转为操作有向图以判定并行与串行依赖,并详细说明任务队列调度机制,以及与 Spark DAG 在无环要求和任务粒度上的区别。 - 原始内容:事实上,任何复杂模型都可以转化为操作有向图的形式。这样做不仅有利于操作的模块化,以及定义和实现模型结构的灵活性,而且可以厘清各操作间的依赖关系,有利于判定哪些操作可以并行执行,哪些操作只能串行执行