原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
每18个月翻一番,那么在单个处理器上用大约相同的时间训练相同的模型需要将近19年的时间。这不仅适用于计算,也适用于内存。
自2016年以来,大语言模型的规模以每两年增长35倍的速度增长,其增长速度甚至超过了计算需求。遗憾的是,在同一时期,GPU内存每两年仅增加大约两倍,这远远不够。
就在5年前,最大的模型只需要一个GPU就能完成训练。如今,最大的模型需要数百个GPU。与计算不同,我们对内存无能为力,虽
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d