知识卡片
桶副本边界
Bucket 的设计保留了单进程多设备的历史痕迹,但当前 DDP 实际只使用一个 BucketReplica。读源码时要区分“结构为未来或历史保留”和“运行时真正生效”,否则容易误解数据维度。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第6章《PyTorch DDP的动态逻辑》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_035.html)
- 结论依据:原文说明桶看似有多个副本,但 PyTorch 当前不支持单进程多设备模式,所以只有 [0] 元素有意义。
- 原始内容:个桶内有多个副本,但因为PyTorch目前不支持单进程多设备模式,所以桶里实际只有一个副本,即[0]元素有意义,其具体解释如下。• 因为DDP原来是希望支持SPMD(单进程多设备)的,所以本进程需要维护多个GPU上的多个模型副本的参数,即parameters变量是一个数组,数组中每个元素是一个模型副