知识卡片
拓扑即瓶颈
通信拓扑决定瓶颈在哪里:参数服务器把更新集中到中心,易于管理但中心压力大;All-Reduce 去中心后,每个节点都参与聚合;Ring 进一步只和邻居通信,扩展性好但对节点故障更敏感。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第1章《分布式机器学习》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_008.html)
- 结论依据:原文对比 All-Reduce、Ring All-Reduce 和 Gossip,指出 Ring 没有中心瓶颈但系统鲁棒性差,支撑拓扑影响性能与容错的结论。
- 原始内容:nchronous Parallel)的同步部分。人们又提出了基于环的Ring All-Reduce,在这种模式下,节点以环形连接,每个节点只与其邻居节点进行通信,可以实现快速数据同步,而没有中心化通信瓶颈,每个节点的物理资源要求更低,扩展性较好,但系统鲁棒性差,一个节点损坏会导致整个系统无法工作。