← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.841Z

每18个月翻一番,那么在单个处理器上用大约相同的时间训练相同的模型需要将近19年的时间。这不仅适用于计算,也适用于内存。

自2016年以来,大语言模型的规模以每两年增长35倍的速度增长,其增长速度甚至超过了计算需求。遗憾的是,在同一时期,GPU内存每两年仅增加大约两倍,这远远不够。

就在5年前,最大的模型只需要一个GPU就能完成训练。如今,最大的模型需要数百个GPU。与计算不同,我们对内存无能为力,虽

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d