返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2833.a

通信四件套

理解等级:未标注

PyTorch 分布式通信的四件套各管一层:进程组定义谁参与,后端决定怎么通信,初始化方法帮助进程互相发现,Store 共享启动信息。DDP 的 API 干净,是因为这些粗糙分布式问题被预先收拢了。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第5章《PyTorch DDP的基础架构》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_030.html) - 结论依据:原文列出进程组、后端、初始化方法、Store,并说明进程发现、通信机制和共享信息的作用。 - 原始内容:关于分布式通信,PyTorch提供的几个重要概念是进程组(Process Group)、后端(Backend)、初始化方法(init_method)和存储(Store)。(1)进程组:DDP是真正的分布式训练,可以使用多台机器组成一次并行运算的任务。为了满足DDP各个Worker