返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2832

DP主卡瓶颈

理解等级:未标注

DataParallel 简单但有天然主卡瓶颈:输入、输出、损失和梯度都要围绕 GPU 0 聚集或分发。它适合快速利用单机多卡,却不适合追求高扩展性的严肃分布式训练。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第4章《PyTorch DataParallel》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_023.html) - 结论依据:原文说明小批量先传到 GPU 0、GPU 0 持有最新模型、输出与梯度也会聚集到 GPU 0。 - 原始内容:(1)把小批量数据从锁页内存(Page-Locked Memory)传输到GPU 0,即Master(主)GPU。GPU 0持有最新模型,其他GPU拥有的是模型的一个旧版本。(2)在GPU之间分发小批量数据,具体是将每个小批量数据平均分成多份,分别送到对应的GPU进行计算。