知识卡片
镜像线程执行
MirroredStrategy 分发计算时,会为每个设备启动副本线程并行运行同一个函数。用户看到的是一次 strategy.run,运行时实际是在多设备上复制上下文、执行函数并同步结果。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第18章《MirroredStrategy》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_099.html)
- 结论依据:原文说明 mirrored_run 在每个设备上调用 fn,并建立 _MirroredReplicaThread 并行执行直到完成。
- 原始内容:a()之中,会建立_MirroredReplicaThread来运行。每个设备会启动一个线程,并行执行fn,直至所有fn都完成。call_for_each_replica()代码摘录如下。