知识卡片
求导上下文
分布式自动求导上下文为一次跨节点反向传播提供全局身份。梯度不再安全地落在张量 .grad 里,而要按 context 隔离累积,否则多个分布式 backward 会互相污染。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第13章《PyTorch如何实现模型并行》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_070.html)
- 结论依据:原文说明每个前向和反向传播分配唯一 context,并指出梯度累积在上下文中以便区分不同反向传播过程。
- 原始内容:分布式自动求导的每个前向和反向传播都被分配唯一的上下文(类型为torch.distributed.autograd.context),此上下文具有全局唯一的autograd_context_id。每个节点都会根据需要来决定是否创建上下文。上下文的作用如下。