知识卡片
流水线并行
流水线并行按层切模型,让不同 stage 接力处理微批量。它的优势不是少算,而是每个设备只保存部分层,并且只在相邻 stage 传激活,通信量不随总模型大小线性膨胀。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第8章《GPipe》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_045.html)
- 结论依据:原文说明流水线并行中每个设备只负责部分层,相邻 stage 之间只传输某些张量,数据传输量较少。
- 原始内容:不同设备上,像流水线一样接力进行。因为每个设备只负责网络的部分层,所以每个stage和下一个stage之间仅有相邻的某些张量数据需要传输,因此流水线并行的数据传输量较少,与总模型大小和机器数目无关,可以支持更大的模型或者更大的单次训练批量。