返回主题:训练并行策略

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 2793

计算图前后端分工

理解等级:未标注

TensorFlow 把计算图的构造和执行分开:前端提供编程模型,由 Client 构造计算图、建立会话,并把图交给后端的分布式 Master;后端提供分布式运行环境,Master 把图的边和节点分解给不同的 Worker 执行,节点之间通过 send/recv 完成数据归并和同步。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第3章《TensorFlow框架介绍》(源文件:_epub-src/OEBPS/Text/chapter3-3.xhtml) - 结论依据:原文说明TensorFlow前端提供编程模型、负责计算图构造,后端提供分布式运行环境、负责图计算执行管理;Client构造计算图、建立Session并把Graph传给Distributed Master;Master将图模型的边分解给不同Worker;分布式计算中通过send/recv进行数据归并和同步。 - 原始内容:·前端主要提供编程模型,负责计算图的构造工作。……·后端主要提供分布式运行环境,并且负责图计算的执行管理。……·Master将图模型的边进行分解,分给不同的计算Work进行工作。……·在分布式计算中,通过send/recv进行数据的归并和同步。