← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9695.d · 生成模型:DeepSeek-V4.1-Flash

排放数字为何难以横比

理解等级:高级

四个放大差异的选择 同一规模的训练,估算结果可以差出数倍,因为至少有四项设计选择在起作用:

选择 影响来源
模型架构 不同结构的计算量与并行效率不同
处理器 不同芯片的吞吐与功耗不同,完成同量计算耗电不同
数据中心 PUE 不同,全球均值 1.58 与高效自建机房差距明显
能源组合 煤电与水电的碳强度相差一个数量级以上

读数字的正确姿势 Google 公布 T5 约 86 兆瓦时、47 吨二氧化碳当量,GPT-3 约 1287 兆瓦时、552 吨。这两个数常被拿来对比,但模型规模、硬件、机房与供电都不同,它们只能作为各自口径下的量级参考,不能直接推出“谁更环保”。

单位口径 二氧化碳当量(CO2eq)把甲烷、氧化亚氮等按全球升温潜势(GWP)折算成等效的二氧化碳。GWP 依赖时间窗,100 年与 20 年的折算系数不同,同一份排放会得到不同数字,引用时必须说明采用的窗口。

可比性的最低要求 一份有意义的报告应交代:算的是训练还是推理、推理按多少查询折算;硬件型号与数量、运行时长;PUE 是实测还是均值;电网碳强度取自何地何时;边界是否含硬件制造与折旧等非用电排放。缺这些元数据,数字只能当宣传,不能当证据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 环境影响 · 查看原书依据

      各种设计决策也会影响排放量的计算,例如模型架构(Transformer与Evolution Transformer)、处理器(NVIDIA的A100与Google TPU)、数据中心(数据中心平均值与Google数据中心的值)以及能源供应组合(如煤炭与水力发电)的选择。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第12章《环境影响》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter14.xhtml) - 结论依据:原文该段以「各种设计决策也会影响排放量的计算,例如模型架构(Transforme…」为中心展开,本卡的核心判断「四个放大差异的选择 同一规模的训练,估算结果可以差出数倍,因为至少有四项设计选择在起作用:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:各种设计决策也会影响排放量的计算,例如模型架构(Transformer与Evolution Transformer)、处理器(NVIDIA的A100与Google TPU)、数据中心(数据中心平均值与Google数据中心的值)以及能源供应组合(如煤炭与水力发电)的选择。