知识卡片
环全归约的通信量恒定
环全归约(ring allreduce)把“求梯度平均”拆成两步:归约分散与全收集。N 张卡组成逻辑环,梯度张量切成 N 块;归约分散阶段每张卡沿环发送一块、累加一块,走 N-1 步后每块都有一个卡持有完全归约的结果;全收集阶段再沿环把这 N 块各广播一圈,所有卡都得到完整梯度。
关键性质:每张卡收发的数据量约为 2(N-1)/N 倍梯度大小,N 较大时趋近 2 倍,与卡数几乎无关。这正是它取代参数服务器的原因——参数服务器的入口带宽随卡数线性膨胀,而环全归约只受最慢那条链路的限制。
代价:延迟随卡数线性增长;跨多跳传输时中间节点做无用转发;环上任一相邻链路故障会拖垮整环。改进方向是树形归约或用两棵树互补(延迟降到对数级,单树则浪费一半带宽)。实践中还可把低层梯度的传输与高层梯度的计算重叠,把通信藏进计算里。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
环全归约提供了一种解决方案,无论系统中的GPU数量如何,通信成本都大致保持不变。在这种算法中,通信成本由GPU之间最慢的连接决定,而与GPU数量无关。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「环全归约提供了一种解决方案,无论系统中的GPU数量如何,通信成本都大…」为中心展开,本卡的核心判断「环全归约(ring allreduce)把“求梯度平均”拆成两步:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:环全归约提供了一种解决方案,无论系统中的GPU数量如何,通信成本都大致保持不变。在这种算法中,通信成本由GPU之间最慢的连接决定,而与GPU数量无关。