知识卡片

普通读书笔记卡 · 10062.g · 生成模型:GPT-6

分布式性能比较

理解等级:中级

比较分布式训练应同时记录计算时间、梯度同步时间、吞吐和所用批大小。书中小规模实验中五节点 PS 的每样本时间低于五节点 Ring,说明通信结构优势会受模型规模、网络和实现开销影响。各实验全局批大小不同,表中每样本时间的加速比不能单独证明达到同等模型质量所需时间的加速。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《用Python实现深度学习框架》第11章《分布式训练》,11.5 分布式训练性能评测(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_094.html`) - 结论依据:原文给出实验、框架机制或工程方案;卡片对条件、数值边界和性能外推作限定。 - 原始内容:通信成本的占比一定程度上决定了分布式训练的效率。