返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2835.a

Driver探测网络

理解等级:未标注

Horovod 启动时先让 Driver 和 Task 服务协作探测可用网络接口,尤其要找出环形拓扑可共同使用的路由。每个 Worker 探测下一索引 Worker 的接口,最后取所有路由接口的交集。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第7章《Horovod》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_040.html) - 结论依据:原文说明 Driver 启动服务、让 Worker 启动 Task 服务,并通过相邻 Worker 探测接口求交集。 - 原始内容:• 因为网络拓扑是环形的,所以每个Worker会探测“Worker索引+1”的所有网络接口。• _run_probe()函数返回一个所有Worker上的所有路由接口的交集。获取路由的具体逻辑如图7-7所示。