← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.842Z

et al,2021) 前面提到的简单通信策略带来了巨大的挑战,因为其通信成本随着系统中GPU数量的增加而成比例增加。

环全归约提供了一种解决方案,无论系统中的GPU数量如何,通信成本都大致保持不变。在这种算法中,通信成本由GPU之间最慢的连接决定,而与GPU数量无关。

值得注意的是,如果只考虑带宽而不考虑通信成本中的延迟因素,那么环全归约算法被认为是最优的。此外,在深度神经网络中,环全归

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d