知识卡片

普通读书笔记卡 · 2835.b

后台线程协调

理解等级:未标注

Horovod 用后台线程承接跨 Worker 协调,把训练线程从通信编排中分离出来。前台框架继续提交张量,后台统一处理队列、协商和集合通信,形成计算框架与通信系统之间的缓冲层。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第7章《Horovod》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_038.html) - 结论依据:原文说明 InitializeHorovodOnce 会创建 Controller 并启动 BackgroundThreadLoop,在 Worker 之间协调。 - 原始内容:• 启动了后台线程BackgroundThreadLoop用来在各个Worker之间协调。在C++世界,数据结构HorovodGlobalState起到了集中管理各种全局变量的作用。Horovod会生成HorovodGlobalSta