原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
er(2022)研究了零样本量化的比特级推理扩大尺度法则,以便在模型中总比特数一定的情况下最大限度地提高零样本的准确率。
研究发现,为了实现推理内存与准确率的最佳平衡,应尽可能使用最大的模型,并建议使用4比特量化。如图6-1所示,在各种模型系列中,20B个参数的4比特模型优于10B个参数的8比特模型。
图6-2展示了Lambada、PiQA、Winogrande和Hellaswag平均零样本性能的比特级扩大尺度法则。即使
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d