← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9556.d · 生成模型:DeepSeek-V4.1-Flash

gloo与NCCL的适用场景

理解等级:中级

分布式训练的进程之间要交换梯度,交换靠通信后端完成。原文示例用 gloo,并注明它适合 CPU 与 GPU 间的多进程通信;在多节点配置下则可以使用 NCCL,且明确推荐用于 GPU。

差别在硬件路径。gloo 覆盖面广,CPU 张量也能参与通信,适合单机验证、CPU 集群或 CPU/GPU 混合的过渡环境;NCCL 面向 NVIDIA GPU 做过专门优化,能利用卡间高速互联,带宽利用率更高,是多卡多机的常规选择。换句话说,gloo 胜在通用,NCCL 胜在快。

后端在 init_process_group 里一次定死,所有进程必须一致,否则握手阶段就会失败。选型还要看网络条件:跨节点若没有高速互联,梯度同步会成为瓶颈,此时加卡带来的吞吐收益可能被通信吃掉,这也是 [[一进程一卡的数据并行]] 在多机场景下要先评估集群网络的原因。

需要区分的是,后端只决定”怎么传”,不改变 DDP 的语义:无论 gloo 还是 NCCL,最终都是把各卡梯度汇总平均后再更新参数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0002.xhtml) - 结论依据:原文在 setup 函数中用 gloo 初始化进程组,并补充说明多节点下也可用 NCCL 且推荐用于 GPU。 - 原始内容:本例的通信协议使用gloo协议,适合CPU和GPU间的多进程通信。在多节点配置下,也可以使用NCCL协议(推荐用于GPU)。