原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
技术容易出错,而且使用起来很痛苦。 ZeRO-infinity利用非GPU内存(如CPU和NVMe内存)解决了这些难题。
一方面,基本型数据并行化无法扩展到单节点之外,从而导致冗余;另一方面,流水线并行和模型并行(将在后面介绍)需要大量重构模型代码。ZeRO是一种节省内存的数据并行形式,它仅在每个GPU上存储相互排斥的参数子集,从而消除训练过程中的冗余。
ZeRO-infinity将优化器状态卸载到NVMe,将激活内存卸载到CPU,而参数和梯度则保存在GPU内存中。但是,将
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d