原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
imizer),它采用精度较低的格式来表示优化器状态和状态的辅助向量。为了保持跟踪统计的近似精度,还采用了误差补偿技术。
例如,Dettmers et al(2021)提出的一种方法使用8比特精度存储Adam优化器的统计数据,同时保持与使用32比特精度相同的整体性能。实现这一结果所采用的技术是按块动态量化,它能有效地处理大小元素。
5. 降低通信成本 通常在计算节点之间发送梯度之前对其进行压缩的方法有3类——稀疏化、量化和低秩化。稀疏方法只传输梯度元
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d