知识卡片
通信模式分层
并行训练的通信先分清两层:点对点适合一发一收的邻居交互,集合通信适合多方共同完成广播、聚合或重排。前者容易实现,后者才是数据并行梯度同步的核心难点。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第2章《集合通信》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_012.html)
- 结论依据:原文定义点对点和集合通信,并列出二者发送方、接收方数量与实现难度差异,可推出通信模式分层。
- 原始内容:(1)点对点(Point-to-Point)通信。这是高性能计算(HPC)中最常使用的模式,通常是节点与其最近的邻居进行通信,特点是:单发送方,单接收方;相对容易实现。点对点通信的原型如图2-1所示。