← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.844Z

技术容易出错,而且使用起来很痛苦。 ZeRO-infinity利用非GPU内存(如CPU和NVMe内存)解决了这些难题。

一方面,基本型数据并行化无法扩展到单节点之外,从而导致冗余;另一方面,流水线并行和模型并行(将在后面介绍)需要大量重构模型代码。ZeRO是一种节省内存的数据并行形式,它仅在每个GPU上存储相互排斥的参数子集,从而消除训练过程中的冗余。

ZeRO-infinity将优化器状态卸载到NVMe,将激活内存卸载到CPU,而参数和梯度则保存在GPU内存中。但是,将

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d