知识卡片
GraphTask执行
GraphTask 是反向传播执行的资源账本:它记录节点依赖、等待队列和未完成任务数,决定哪个求导节点可以运行。分布式引擎扩展的不是求导公式,而是这套依赖调度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第13章《PyTorch如何实现模型并行》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_074.html)
- 结论依据:原文说明 GraphTask 拥有一次反向传播执行所需元数据,包括 Node 依赖关系、等待队列和 outstanding_tasks。
- 原始内容:• GraphTask:负责反向图的执行。GraphTask代表一个动态图级别的资源管理对象,拥有一次反向传播执行所需要的全部元数据,比如计算图中所有Node的依赖关系,未就绪Node的等待队列。GraphTask的关键成员变量std::atomic<uint64_t>o