知识卡片
协调器调度
ClusterCoordinator 是参数服务器训练里的调度者:它不亲自训练,而是把 tf.function 形式的训练 step 派发给远端 Worker,并把结果用 RemoteValue 异步交还。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第19章《ParameterServerStrategy》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_102.html)
- 结论依据:原文说明 ClusterCoordinator 与 ParameterServerStrategy 协同,将训练 step 执行分派给远端 Worker。
- 原始内容:• 此tf.distribution.Strategy对象需要使用者提供集群的信息,并使用这些信息来定义训练step。ClusterCoordinator对象将这些训练step的执行分派给远端Worker。