原书出处
大语言模型-基础与前沿 (熊涛)
12 第12章 环境影响
虑到这些因素,计算机器学习模型碳足迹的简化公式为: 碳足迹=(电能+查询×电能)×CO2eq/ kWh 训练推理数据中心
值得注意的是,大多数公司在为机器学习模型提供服务(执行推理)上消耗的能源要多于训练模型。NVIDIA估计,80%~90%的机器学习工作负载是推理处理(Leopold,2019),而亚马逊网络服务声称,云计算中90%的机器学习需求是用于推理(Barr,2019)。
为了解决这个问题,阿里巴巴、亚马逊、Google和NVIDIA开发了仅用于推理的机器学习加速器。假设机器学习模型的总功耗
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter14.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d