知识卡片
推理才是能耗的大头
核算口径的转变 Patterson 等人的简化式把碳足迹写成两项之和再乘排放因子:括号内是训练消耗的电能,加上查询次数乘以单次推理的电能,括号外是每千瓦时的二氧化碳当量。与只算训练的公式相比,它把服务期拉进了账本。
为什么推理占大头 训练是一次性投入,推理随用户量线性增长并持续整个服务周期。原文给出的行业估计是:八成到九成的机器学习负载属于推理,亚马逊云科技则称云上九成的机器学习需求是推理。这解释了为什么大厂纷纷做专用推理加速器。
一个说明权衡的算术 若总功耗中训练占一成、推理占九成,那么即使训练功耗翻倍(总量增加一成),只要推理功耗下降两成(总量减少一成八),总排放仍然下降。启示很直接:优化应投在占比大的那一项上,而不是盯着更容易统计的训练环节。
边界 这个结论依赖“大规模长期服务”的前提。一次性研究模型、内部试验模型可能训练占比更高;反之,面向海量用户的对话服务推理占比会更高。因此报告只写训练排放,等于系统性漏掉主要成本;而报告推理排放时又必须说明按多少次查询、多长服务期折算,否则数字没有意义。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 环境影响 · 查看原书依据
值得注意的是,大多数公司在为机器学习模型提供服务(执行推理)上消耗的能源要多于训练模型。NVIDIA估计,80%~90%的机器学习工作负载是推理处理(Leopold,2019),而亚马逊网络服务声称,云计算中90%的机器学习需求是用于推理(Barr,2019)。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第12章《环境影响》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter14.xhtml)
- 结论依据:原文该段以「值得注意的是,大多数公司在为机器学习模型提供服务(执行推理)上消耗的…」为中心展开,本卡的核心判断「核算口径的转变 Patterson 等人的简化式把碳足迹写成两项之和再乘排放因子:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:值得注意的是,大多数公司在为机器学习模型提供服务(执行推理)上消耗的能源要多于训练模型。NVIDIA估计,80%~90%的机器学习工作负载是推理处理(Leopold,2019),而亚马逊网络服务声称,云计算中90%的机器学习需求是用于推理(Barr,2019)。