知识卡片
框架融合层
Horovod 的融合层解决的是跨框架抽象问题:TensorFlow、PyTorch、MXNet 的优化器接口不同,但“提交张量、聚合梯度、回写结果”可以抽成统一通信算子,再由适配层接入各框架。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第7章《Horovod》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_042.html)
- 结论依据:原文提出 Horovod 如何嵌入多种深度学习框架、如何自定义算子、如何把梯度同步抽象为框架无关架构。
- 原始内容:架,所以应该有自己的算子,在此基础上添加适配层就可以达到兼容目的。• 如何将梯度的同步通信完全抽象为与框架无关的架构?• 如何将通信和计算框架分离?如果可以分离,则计算框架只需要直接调用Horovod接口,如HorovodAllreduceOp进行梯度求平均即可。