知识卡片
Strategy作用域
Strategy 把分布式训练包装成作用域和少量 API:用户在同一模型代码外层选择策略,系统再决定变量布局、数据读取和副本执行。抽象价值在于切换策略,而不是隐藏所有成本。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第17章《分布式策略基础》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_094.html)
- 结论依据:原文定义 tf.distribute.Strategy 支持多 GPU、多机或 TPU,并强调从用户模型代码解耦、易于切换策略。
- 原始内容:tf.distribute.Strategy是一个可在多个GPU、多台机器或TPU上进行分布式训练的TensorFlow API。使用此API,用户只需改动较少代码就能基于现有模型和训练代码实现单机多卡、多机多卡等情况的分布式训练。