← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.844Z

imizer),它采用精度较低的格式来表示优化器状态和状态的辅助向量。为了保持跟踪统计的近似精度,还采用了误差补偿技术。

例如,Dettmers et al(2021)提出的一种方法使用8比特精度存储Adam优化器的统计数据,同时保持与使用32比特精度相同的整体性能。实现这一结果所采用的技术是按块动态量化,它能有效地处理大小元素。

5. 降低通信成本 通常在计算节点之间发送梯度之前对其进行压缩的方法有3类——稀疏化、量化和低秩化。稀疏方法只传输梯度元

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d