返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2841.b

GraphTask执行

理解等级:未标注

GraphTask 是反向传播执行的资源账本:它记录节点依赖、等待队列和未完成任务数,决定哪个求导节点可以运行。分布式引擎扩展的不是求导公式,而是这套依赖调度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第13章《PyTorch如何实现模型并行》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_074.html) - 结论依据:原文说明 GraphTask 拥有一次反向传播执行所需元数据,包括 Node 依赖关系、等待队列和 outstanding_tasks。 - 原始内容:• GraphTask:负责反向图的执行。GraphTask代表一个动态图级别的资源管理对象,拥有一次反向传播执行所需要的全部元数据,比如计算图中所有Node的依赖关系,未就绪Node的等待队列。GraphTask的关键成员变量std::atomic<uint64_t>o