返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2834.a

桶副本边界

理解等级:未标注

Bucket 的设计保留了单进程多设备的历史痕迹,但当前 DDP 实际只使用一个 BucketReplica。读源码时要区分“结构为未来或历史保留”和“运行时真正生效”,否则容易误解数据维度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第6章《PyTorch DDP的动态逻辑》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_035.html) - 结论依据:原文说明桶看似有多个副本,但 PyTorch 当前不支持单进程多设备模式,所以只有 [0] 元素有意义。 - 原始内容:个桶内有多个副本,但因为PyTorch目前不支持单进程多设备模式,所以桶里实际只有一个副本,即[0]元素有意义,其具体解释如下。• 因为DDP原来是希望支持SPMD(单进程多设备)的,所以本进程需要维护多个GPU上的多个模型副本的参数,即parameters变量是一个数组,数组中每个元素是一个模型副