返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2835.c

框架融合层

理解等级:未标注

Horovod 的融合层解决的是跨框架抽象问题:TensorFlow、PyTorch、MXNet 的优化器接口不同,但“提交张量、聚合梯度、回写结果”可以抽成统一通信算子,再由适配层接入各框架。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第7章《Horovod》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_042.html) - 结论依据:原文提出 Horovod 如何嵌入多种深度学习框架、如何自定义算子、如何把梯度同步抽象为框架无关架构。 - 原始内容:架,所以应该有自己的算子,在此基础上添加适配层就可以达到兼容目的。• 如何将梯度的同步通信完全抽象为与框架无关的架构?• 如何将通信和计算框架分离?如果可以分离,则计算框架只需要直接调用Horovod接口,如HorovodAllreduceOp进行梯度求平均即可。