返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2835

Horovod包装器

理解等级:未标注

Horovod 的 DistributedOptimizer 选择包装原生优化器,而不是重写训练框架。它让本地优化器照常算梯度,再把同步通信嵌入梯度处理流程,这是库级扩展比框架侵入更轻的原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第7章《Horovod》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_038.html) - 结论依据:原文说明 Horovod 包装原生 TensorFlow 优化器,内部委托原生优化器计算本地梯度,再执行分布式同步。 - 原始内容:• TensorFlow优化器会获取每个算子的梯度来更新权重。Horovod在原生TensorFlow优化器的基础上包装了hvd.DistributedOptimizer。• hvd.DistributedOptimizer继承Keras的优化器,DistributedOptimizer包装