知识卡片

普通读书笔记卡 · 2829.a

三种并行

理解等级:未标注

深度训练的并行可从三个维度切:数据并行切样本,追求计算吞吐;模型并行切网络结构,解决单设备装不下;流水线并行切网络层,让层间像流水一样接力。选型时先问瓶颈是数据、显存还是设备空闲。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第1章《分布式机器学习》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_007.html) - 结论依据:原文把训练分发明确分为按照输入样本、网络结构、网络层三种方式,并分别说明其可扩展目标。 - 原始内容:的处理器之上,按照此分发方式看,深度训练的并行机制主要有三种划分方式:按照输入样本划分(数据并行),按照网络结构划分(模型并行),按照网络层进行划分(流水线并行),具体如下: