返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2834.b

Join补通信

理解等级:未标注

DDP Join 是为不均匀输入准备的“补位通信”:数据少的 rank 不能直接退出,否则其他 rank 的集合通信会挂起;Join 让已完成的进程继续参与必要通信,维持协议完整。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第6章《PyTorch DDP的动态逻辑》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_035.html) - 结论依据:原文说明 Join 解决训练数据不均匀问题,并解释集合通信要求进程组所有 rank 都参与。 - 原始内容:Join操作的作用是解决训练数据不均匀的问题,即允许某些输入较少的Worker(其已经完成集合通信操作)可以继续和那些尚未结束的Worker执行集合通信,是一个欺骗操作。支撑在DDP背后的是几个集合通信库的All-Reduce操作