知识卡片
自动平衡
流水线分区不能只按层数平均切,而要按时间或显存 profile 找平衡点。torchgpipe.balance 用 profile 测量资源占用来计算分区,让各分区资源差别尽量小。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第9章《PyTorch流水线并行》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_049.html)
- 结论依据:原文说明 torchgpipe.balance 根据 profile、simulate 等资源测量计算分区,并建议寻找模型最佳平衡点。
- 原始内容:torchgpipe提供了子模块torchgpipe.balance来计算分区,目的是让分区之间的资源差别尽量小。资源占用情况是通过profile(测量)来计算的,其他的计算方式还有simulate(模拟)。