返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2837

自动平衡

理解等级:未标注

流水线分区不能只按层数平均切,而要按时间或显存 profile 找平衡点。torchgpipe.balance 用 profile 测量资源占用来计算分区,让各分区资源差别尽量小。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第9章《PyTorch流水线并行》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_049.html) - 结论依据:原文说明 torchgpipe.balance 根据 profile、simulate 等资源测量计算分区,并建议寻找模型最佳平衡点。 - 原始内容:torchgpipe提供了子模块torchgpipe.balance来计算分区,目的是让分区之间的资源差别尽量小。资源占用情况是通过profile(测量)来计算的,其他的计算方式还有simulate(模拟)。