原书出处
大模型技术30讲
11 第11章 计算参数量
估算模型的复杂度。一般而言,参数越多,有效训练该模型所需的训练数据量也就越大。
参数量还能帮助我们估计神经网络的大小,进而评估该网络是否能装载到GPU显存中。尽管训练期间的实际内存需求往往会超过模型本身的大小,比如执行矩阵乘法以及存储梯度会产生额外的内存需求
,但预估模型大小仍能让我们大致了解在给定的硬件配置下训练该模型是否可行。 11.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0016.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec