返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2837.a

显式依赖

理解等级:未标注

流水线并行会打乱原本线性的反向顺序,PyTorch 自动求导并不知道微批量之间的时间约束。Fork/Join 用空张量制造显式依赖,把调度规则写进计算图。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第9章《PyTorch流水线并行》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_052.html) - 结论依据:原文说明 PyTorch 引擎不知道 Bi+1,j 必须在 Bi,j 前运行,因此用 Fork 和 Join 表达虚拟依赖。 - 原始内容:所以需要依靠本节介绍的Fork()函数和Join()函数完成此依赖关系。图9-6中的斜线表示Checkpoint中需要先有一个重计算,然后才能由下往上走。因此,torchgpipe定义两个自动求导函数Fork()和Join()来表达这种依赖关系。