知识卡片
三种并行
深度训练的并行可从三个维度切:数据并行切样本,追求计算吞吐;模型并行切网络结构,解决单设备装不下;流水线并行切网络层,让层间像流水一样接力。选型时先问瓶颈是数据、显存还是设备空闲。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第1章《分布式机器学习》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_007.html)
- 结论依据:原文把训练分发明确分为按照输入样本、网络结构、网络层三种方式,并分别说明其可扩展目标。
- 原始内容:的处理器之上,按照此分发方式看,深度训练的并行机制主要有三种划分方式:按照输入样本划分(数据并行),按照网络结构划分(模型并行),按照网络层进行划分(流水线并行),具体如下: