知识卡片
Profile分区
PipeDream 的分区不是拍脑袋切层,而是先 profile 每层计算时间、输出大小和参数大小,再结合拓扑、带宽、Worker 与内存约束做优化。测量把调度从经验变成可计算问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第10章《PipeDream之基础架构》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_055.html)
- 结论依据:原文说明 PipeDream 用小批量数据 profile 推理训练时间,并记录计算时间、层输出大小和参数大小作为分区输入。
- 原始内容:,DNN模型的计算时间变化很小。PipeDream充分利用了这一特点,通过对小批量数据进行profile来推理出DNN模型训练时间。给定一个具有n层和m台可用机器的DNN模型,PipeDream首先在一台机器上分析模型,然后记录前向和反向传播过程所花费的计算时间、层输出的大小,以及每个层相关参数的大