知识卡片
失败重排
参数服务器策略的容错边界很现实:Worker 失败可把任务重排给其他 Worker,适合抢占式实例;但 Coordinator 和参数服务器必须可用,否则训练没有全局调度和参数状态。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第19章《ParameterServerStrategy》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_103.html)
- 结论依据:原文说明 Worker 失败时 Coordinator 重新入队并派给其他 Worker,但 Coordinator 和参数服务器必须始终可用。
- 原始内容:• 如果发现一个Worker失败了,则Coordinator先把用户定义的操作再次放入队列,然后发给另一个Worker执行,同时启动一个后台线程等待恢复,如果恢复了,则用资源来重建此Worker,继续分配工作。