知识卡片
分布式训练性能应按迭代的关键路径诊断
把每一步拆为取批、前反向计算、通信和更新,记录等待时间及可重叠区间。数据预取可以把部分输入成本放到计算期间。扩大 worker 数之前同时看样本吞吐和达到同等验证质量的时间。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式机器学习框架基础知识 · 查看原书依据
如果可以在一轮新的迭代训练开始前完成数据的预读取,那么就有可能将网络传输成本尽可能“隐藏”起来。
参考来源
- 位置:《机器学习观止:核心原理与实践》第24章《分布式机器学习框架基础知识》(来源项目 book-source,`extracted/机器学习观止:核心原理与实践/_epub-src/OEBPS/Text/chapter24.xhtml`)。
- 结论依据:24.1 Step0–9 及图24-2、图24-3给出迭代和分层瓶颈。
- 原始内容:如果可以在一轮新的迭代训练开始前完成数据的预读取,那么就有可能将网络传输成本尽可能“隐藏”起来。