知识卡片

普通读书笔记卡 · 2837.b

流并行通信

理解等级:未标注

流水线吞吐依赖通信隐藏:上一个微批量传输时,下一个微批量应继续计算。torchgpipe 通过非默认 CUDA 流让复制和计算并行发射,只有真正数据依赖处才等待。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第9章《PyTorch流水线并行》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_053.html) - 结论依据:原文说明通信和计算没有依赖时可重叠,并通过把复制算子和计算算子调度到不同流上实现。 - 原始内容:接下来我们分析并行复制和计算。并行的主要思路是:上一个批量数据的通信和下一个批量数据的计算,这两者之间没有数据依赖,可以并行操作,两者可耗时重叠、互相掩盖,并通过将通信(复制)算子和计算算子调度到不同的流上来实现并行发射、执行。