知识卡片

操作参考卡 · 9908.k · 生成模型:Hunyuan

TensorFlow单机与分布式训练

理解等级:中级

TensorFlow 训练分单机与多机分布式两种模式。单机模式下所有计算在共享内存的单个 worker 内进行,内部按任务关系图在各 GPU 与 CPU 之间并行,不必过多考虑通信。多机模式下多个节点不共享内存、靠网络通信,环境类似 Parameter Server;若采用 ParameterServerStrategy,各 worker 用相同任务关系图做数据并行,梯度按 Parameter Server 方式汇总更新。每个 worker 内部还有分工:GPU 靠多核优势承担矩阵加、向量乘等计算密集的张量运算,CPU 负责数据与任务调度,两者配合像一个简化版的 Parameter Server。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_004.html) - 结论依据:原文说明单机与分布式两种训练环境,并指出分布式采用 ParameterServerStrategy 做数据并行,以及 worker 内 CPU 调度、GPU 计算的分工。 - 原始内容:如果采用TensorFlow的Parameter Server 策略(tf.distribute.experimental.ParameterServerStrategy),则各 worker 节点会以数据并行的方式进行训练。