← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9695.b · 生成模型:DeepSeek-V4.1-Flash

推理才是能耗的大头

理解等级:高级

核算口径的转变 Patterson 等人的简化式把碳足迹写成两项之和再乘排放因子:括号内是训练消耗的电能,加上查询次数乘以单次推理的电能,括号外是每千瓦时的二氧化碳当量。与只算训练的公式相比,它把服务期拉进了账本。

为什么推理占大头 训练是一次性投入,推理随用户量线性增长并持续整个服务周期。原文给出的行业估计是:八成到九成的机器学习负载属于推理,亚马逊云科技则称云上九成的机器学习需求是推理。这解释了为什么大厂纷纷做专用推理加速器。

一个说明权衡的算术 若总功耗中训练占一成、推理占九成,那么即使训练功耗翻倍(总量增加一成),只要推理功耗下降两成(总量减少一成八),总排放仍然下降。启示很直接:优化应投在占比大的那一项上,而不是盯着更容易统计的训练环节。

边界 这个结论依赖“大规模长期服务”的前提。一次性研究模型、内部试验模型可能训练占比更高;反之,面向海量用户的对话服务推理占比会更高。因此报告只写训练排放,等于系统性漏掉主要成本;而报告推理排放时又必须说明按多少次查询、多长服务期折算,否则数字没有意义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 环境影响 · 查看原书依据

      值得注意的是,大多数公司在为机器学习模型提供服务(执行推理)上消耗的能源要多于训练模型。NVIDIA估计,80%~90%的机器学习工作负载是推理处理(Leopold,2019),而亚马逊网络服务声称,云计算中90%的机器学习需求是用于推理(Barr,2019)。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第12章《环境影响》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter14.xhtml) - 结论依据:原文该段以「值得注意的是,大多数公司在为机器学习模型提供服务(执行推理)上消耗的…」为中心展开,本卡的核心判断「核算口径的转变 Patterson 等人的简化式把碳足迹写成两项之和再乘排放因子:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:值得注意的是,大多数公司在为机器学习模型提供服务(执行推理)上消耗的能源要多于训练模型。NVIDIA估计,80%~90%的机器学习工作负载是推理处理(Leopold,2019),而亚马逊网络服务声称,云计算中90%的机器学习需求是用于推理(Barr,2019)。