原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
运算需要更多的硬件来实现固定位数,而定点运算的功耗和面积始终低于浮点运算,这是以实现乘加运算所需的双输入门数量来衡量的。
但是,格式的选择取决于要量化的值的分布,INT是编码区间内均匀分布的理想选择,而FP是将更多质量集中在0附近并允许异常值的理想选择。因此,产生较少量化误差的格式会因量化模型及其使用方式而有所不同。
通常特定层的最佳格式是具有2或3个指数比特的混合格式,而不是完整的FP8或INT8。有趣的是,如果INT8比FP8能更好
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d