原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
个处理器时可能会造成明显的延迟。 为了解决这些问题并加快训练过程,研究人员使用了几种并行技术来在不同维度上分配工作负载。
例如,数据并行涉及在不同的GPU上运行批处理的不同子集,流水线并行则将模型的不同层划分到不同的GPU上,而张量并行则将单个操作(如矩阵乘法)的计算拆分到多个GPU上。
专家混合技术仅通过每层的一部分来处理每个样本,从而可以更快地进行训练。 因此,要训练超大型神经网络模型,并行技术对于减小
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d