知识卡片
分布式ML瓶颈
分布式训练需同时处理跨机参数通信、进度不均与故障恢复。增加机器只缩短可并行的计算部分;若网络、同步和调度成本超过收益,甚至会慢于单机。因此先分清计算、通信和等待时间,再选择并行与同步方式,不能以机器数直接推断加速比。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:范型与架构 · 查看原书依据
单机版通过共享内存获取的全局参数此时需要并发程序通过网络来存取,而网络的通信效率会比内存存取效率低很多,此种情形下,如何增加通信效率或者减少通信量,以使算法将更多的计算资源分配到完成任务本身,而不是浪费到很多无谓的通信过程中,就是一个关键问题,这对增加分布式机器学习的运行效率至关重要。
参考来源
- 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html)
- 结论依据:原文在本章对分布式ML瓶颈给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:单机版通过共享内存获取的全局参数此时需要并发程序通过网络来存取,而网络的通信效率会比内存存取效率低很多,此种情形下,如何增加通信效率或者减少通信量,以使算法将更多的计算资源分配到完成任务本身,而不是浪费到很多无谓的通信过程中,就是一个关键问题,这对增加分布式机器学习的运行效率至关重要。