知识卡片
优化器分类
分布式优化器先按并行形态分类:数据并行优化器处理“每个副本都有全量参数”的同步问题,模型并行优化器处理“参数分散在不同节点”的归属和远程更新问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第14章《分布式优化器》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_075.html)
- 结论依据:原文明确区分 DP/DDP/Horovod 属于数据并行优化器,PyTorch 分布式优化器和 PipeDream 属于模型并行优化器。
- 原始内容:本章重点介绍分布式环境下的优化器,包括数据并行和模型并行(包含流水线并行)优化器。DP的优化器、DDP的优化器和Horovod的优化器是数据并行优化器。PyTorch分布式优化器和Pipe Dream分布式优化器是模型并行优化器。