知识卡片

普通读书笔记卡 · 2839.a

生产者消费者

理解等级:未标注

PipeDream 的生产者/消费者关系把跨 stage 数据流显式化:每个张量知道从哪个 rank 来、发往哪个 rank。流水线训练并不是简单排队,而是在运行时维护一张分布式计算图。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第11章《PipeDream之动态逻辑》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_060.html) - 结论依据:原文说明 receive_ranks 和 send_ranks 设置发送、接收目标 rank,并称生产者消费者是分布式计算图的重要组成部分。 - 原始内容:PipeDream只能自己实现一套通信逻辑关系,或者说是分布式计算图,生产者和消费者就是分布式计算图的重要组成部分。此处代码逻辑抽象如下。