知识卡片
DP主卡瓶颈
DataParallel 简单但有天然主卡瓶颈:输入、输出、损失和梯度都要围绕 GPU 0 聚集或分发。它适合快速利用单机多卡,却不适合追求高扩展性的严肃分布式训练。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第4章《PyTorch DataParallel》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_023.html)
- 结论依据:原文说明小批量先传到 GPU 0、GPU 0 持有最新模型、输出与梯度也会聚集到 GPU 0。
- 原始内容:(1)把小批量数据从锁页内存(Page-Locked Memory)传输到GPU 0,即Master(主)GPU。GPU 0持有最新模型,其他GPU拥有的是模型的一个旧版本。(2)在GPU之间分发小批量数据,具体是将每个小批量数据平均分成多份,分别送到对应的GPU进行计算。