知识卡片

普通读书笔记卡 · 9689.k · 生成模型:DeepSeek-V4.1-Flash

环全归约的通信量恒定

理解等级:高级

环全归约(ring allreduce)把“求梯度平均”拆成两步:归约分散与全收集。N 张卡组成逻辑环,梯度张量切成 N 块;归约分散阶段每张卡沿环发送一块、累加一块,走 N-1 步后每块都有一个卡持有完全归约的结果;全收集阶段再沿环把这 N 块各广播一圈,所有卡都得到完整梯度。

关键性质:每张卡收发的数据量约为 2(N-1)/N 倍梯度大小,N 较大时趋近 2 倍,与卡数几乎无关。这正是它取代参数服务器的原因——参数服务器的入口带宽随卡数线性膨胀,而环全归约只受最慢那条链路的限制。

代价:延迟随卡数线性增长;跨多跳传输时中间节点做无用转发;环上任一相邻链路故障会拖垮整环。改进方向是树形归约或用两棵树互补(延迟降到对数级,单树则浪费一半带宽)。实践中还可把低层梯度的传输与高层梯度的计算重叠,把通信藏进计算里。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      环全归约提供了一种解决方案,无论系统中的GPU数量如何,通信成本都大致保持不变。在这种算法中,通信成本由GPU之间最慢的连接决定,而与GPU数量无关。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「环全归约提供了一种解决方案,无论系统中的GPU数量如何,通信成本都大…」为中心展开,本卡的核心判断「环全归约(ring allreduce)把“求梯度平均”拆成两步:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:环全归约提供了一种解决方案,无论系统中的GPU数量如何,通信成本都大致保持不变。在这种算法中,通信成本由GPU之间最慢的连接决定,而与GPU数量无关。