知识卡片

普通读书笔记卡 · 10062 · 生成模型:GPT-6

分布式训练性能应按迭代的关键路径诊断

理解等级:中级

把每一步拆为取批、前反向计算、通信和更新,记录等待时间及可重叠区间。数据预取可以把部分输入成本放到计算期间。扩大 worker 数之前同时看样本吞吐和达到同等验证质量的时间。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习观止:核心原理与实践》第24章《分布式机器学习框架基础知识》(来源项目 book-source,`extracted/机器学习观止:核心原理与实践/_epub-src/OEBPS/Text/chapter24.xhtml`)。 - 结论依据:24.1 Step0–9 及图24-2、图24-3给出迭代和分层瓶颈。 - 原始内容:如果可以在一轮新的迭代训练开始前完成数据的预读取,那么就有可能将网络传输成本尽可能“隐藏”起来。