知识卡片
排放数字为何难以横比
四个放大差异的选择 同一规模的训练,估算结果可以差出数倍,因为至少有四项设计选择在起作用:
| 选择 | 影响来源 |
|---|---|
| 模型架构 | 不同结构的计算量与并行效率不同 |
| 处理器 | 不同芯片的吞吐与功耗不同,完成同量计算耗电不同 |
| 数据中心 | PUE 不同,全球均值 1.58 与高效自建机房差距明显 |
| 能源组合 | 煤电与水电的碳强度相差一个数量级以上 |
读数字的正确姿势 Google 公布 T5 约 86 兆瓦时、47 吨二氧化碳当量,GPT-3 约 1287 兆瓦时、552 吨。这两个数常被拿来对比,但模型规模、硬件、机房与供电都不同,它们只能作为各自口径下的量级参考,不能直接推出“谁更环保”。
单位口径 二氧化碳当量(CO2eq)把甲烷、氧化亚氮等按全球升温潜势(GWP)折算成等效的二氧化碳。GWP 依赖时间窗,100 年与 20 年的折算系数不同,同一份排放会得到不同数字,引用时必须说明采用的窗口。
可比性的最低要求 一份有意义的报告应交代:算的是训练还是推理、推理按多少查询折算;硬件型号与数量、运行时长;PUE 是实测还是均值;电网碳强度取自何地何时;边界是否含硬件制造与折旧等非用电排放。缺这些元数据,数字只能当宣传,不能当证据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 环境影响 · 查看原书依据
各种设计决策也会影响排放量的计算,例如模型架构(Transformer与Evolution Transformer)、处理器(NVIDIA的A100与Google TPU)、数据中心(数据中心平均值与Google数据中心的值)以及能源供应组合(如煤炭与水力发电)的选择。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第12章《环境影响》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter14.xhtml)
- 结论依据:原文该段以「各种设计决策也会影响排放量的计算,例如模型架构(Transforme…」为中心展开,本卡的核心判断「四个放大差异的选择 同一规模的训练,估算结果可以差出数倍,因为至少有四项设计选择在起作用:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:各种设计决策也会影响排放量的计算,例如模型架构(Transformer与Evolution Transformer)、处理器(NVIDIA的A100与Google TPU)、数据中心(数据中心平均值与Google数据中心的值)以及能源供应组合(如煤炭与水力发电)的选择。