← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.844Z

evicius et al(2017)提出了一种使用半精度浮点数(FP16)训练模型的技术,该技术可以保持模型的准确率。

Micikevicius等提出了3种技术,以防止在使用半精度时丢失关键信息。保留模型权重的全精度(FP32)副本以累积梯度,然后将梯度舍入为半精度,用于前向传递和反向传递。

这可确保梯度更新得以保留,因为梯度更新可能太小,无法包含在FP16范围内。损失缩放用于放大损失并处理幅度较小的梯度。通过

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d