知识卡片

普通读书笔记卡 · 2833.b

梯度分桶

理解等级:未标注

梯度分桶把许多小梯度合成更适合网络传输的大块,并用自动求导钩子在桶就绪时立刻 All-Reduce。桶太小通信次数多,太大等待时间长,性能优化落在这个粒度选择上。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第5章《PyTorch DDP的基础架构》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_031.html) - 结论依据:原文说明大张量集合通信效率更高,DDP 对梯度分桶,并在桶内梯度全部就绪时触发异步 All-Reduce。 - 原始内容:由于集合通信在大张量上更有效果,因此为了最大限度地提高带宽利用率,DDP尝试对梯度进行分桶……只在反向传播结束时触发对梯度的All-Reduce是不够的,需要对更频繁的信号做出反应,并更迅速地启动All-Reduce