原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
下,运行逻辑功能的速度大约快k倍。几十年来,计算能力得到快速增长,内存容量每两年翻一番,CPU内核性能每18个月翻一番。
然而,由于晶体管的电源电压已接近物理极限,无法再向下扩展,因此,2000年后期,Dennard缩放定律达到极限。这导致Dennard缩放定律的消亡和“利用墙”(utilization wall)的出现。
即使芯片拥有大量晶体管,但由于功率限制,可利用的晶体管数量也是有限的。只要存在功率限制(由芯片的冷却能力决定),就只能利
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d