← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.841Z

方案可以降低这种开销,但它们可能会损害学习效率。因此,在实践中,大多数研究人员选择同步方法。 1. 同步与异步分布式训练

在同步训练中,所有设备都使用来自单个小批次的不同数据部分来训练本地模型,然后将局部计算的梯度直接或间接传递给所有设备。

只有在所有设备都计算和发送梯度后,才会更新模型。虽然这种方法可确保服务器收到来自所有节点的最新的梯度,但会造成资源浪费和

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d