返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2838.b

动态规划切层

理解等级:未标注

流水线分区目标是让最慢 stage 尽量快,因为吞吐被瓶颈 stage 决定。PipeDream 把这个问题建成有最优子结构的动态规划,输出 stage 划分和复制因子。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第10章《PipeDream之基础架构》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_055.html) - 结论依据:原文说明划分问题等价于最小化最慢 stage 时间,并具有最优子问题属性,因此使用动态规划寻找最优解。 - 原始内容:此划分问题等价于最小化流水线的最慢stage所花费的时间,并且具有最优子问题属性:在给定Worker数量的前提下,吞吐量最大化的流水线由一系列子流水线构成,其中每一个子流水线针对较少的Worker数量来最大化自己的输出,因此PipeDream使用动态规划算法来寻找最优解。