返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2839

Runtime职责

理解等级:未标注

流水线 Runtime 负责把静态切分真正跑起来:加载每个 stage 的模块,建立 rank、通信、生产者消费者关系,并按调度执行训练。没有 Runtime,分区结果只是一张不会流动的图。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第11章《PipeDream之动态逻辑》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_060.html) - 结论依据:原文提出 Runtime 需要承接分布式模型并行功能,随后分析加载模型、通信模块、生产者和消费者等职责。 - 原始内容:11.1.1 功能我们先思考为何要实现一个Runtime,以及其需要实现什么功能。PyTorch分布式相关信息如下。• 在分布式数据并行实现方面,PyTorch实现了DDP功能。• 在分布式模型并行等方面,PyTorch提供了RPC功能作为支撑基础,RPC功