← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.844Z

ansformer层使用的自注意力机制的复杂度与序列长度成二次方关系,这就限制了训练能力,因为中间激活会增加内存使用量。

为了解决这个问题,研究人员已经提出了序列并行(Li et al,2021)。这种方法涉及在设备间复制模型,并沿序列维度分割输入数据。然而,这需要额外的通信来完成自注意力计算。

为了解决这一难题,研究人员提出了环自注意力(ring self attention)模块来交换部分嵌入。 6.4.4 专

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d