返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2842

优化器分类

理解等级:未标注

分布式优化器先按并行形态分类:数据并行优化器处理“每个副本都有全量参数”的同步问题,模型并行优化器处理“参数分散在不同节点”的归属和远程更新问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第14章《分布式优化器》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_075.html) - 结论依据:原文明确区分 DP/DDP/Horovod 属于数据并行优化器,PyTorch 分布式优化器和 PipeDream 属于模型并行优化器。 - 原始内容:本章重点介绍分布式环境下的优化器,包括数据并行和模型并行(包含流水线并行)优化器。DP的优化器、DDP的优化器和Horovod的优化器是数据并行优化器。PyTorch分布式优化器和Pipe Dream分布式优化器是模型并行优化器。