← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.844Z

运算需要更多的硬件来实现固定位数,而定点运算的功耗和面积始终低于浮点运算,这是以实现乘加运算所需的双输入门数量来衡量的。

但是,格式的选择取决于要量化的值的分布,INT是编码区间内均匀分布的理想选择,而FP是将更多质量集中在0附近并允许异常值的理想选择。因此,产生较少量化误差的格式会因量化模型及其使用方式而有所不同。

通常特定层的最佳格式是具有2或3个指数比特的混合格式,而不是完整的FP8或INT8。有趣的是,如果INT8比FP8能更好

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d