知识卡片
GPU与TPU:显存与互连
两类加速器的差别不在峰值算力,而在两件决定能否规模化的事:显存层次与互连。
显存层次:GPU 走通用路线,靠大量流式多处理器加多级存储(寄存器、共享内存、二级缓存、高带宽显存),用成熟的编程模型灵活支持各种算子;代价是数据搬运要显式管理,带宽常成为主瓶颈。TPU 走专用路线,用脉动阵列把矩阵乘的乘加流水化,配大容量片上存储,算子少但吞吐高。
互连:卡间带宽决定并行能切多细。机内用高带宽互联时,通信密集的张量并行才划算;跨机走普通网络,带宽降一个量级,只适合通信稀疏的流水线并行或数据并行。这是“切分方式必须匹配拓扑”的根源。典型案例:PaLM 540B 需要 6000 多颗 TPU 同步训练。
共同瓶颈:模型规模约每两年涨 35 倍,单卡显存每两年只翻一倍。专业化对算力有效,对容量几乎无效——存一个比特至少需要一个晶体管,所以并行不是优化而是唯一出路。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
自2016年以来,大语言模型的规模以每两年增长35倍的速度增长,其增长速度甚至超过了计算需求。遗憾的是,在同一时期,GPU内存每两年仅增加大约两倍,这远远不够。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「自2016年以来,大语言模型的规模以每两年增长35倍的速度增长,其增…」为中心展开,本卡的核心判断「两类加速器的差别不在峰值算力,而在两件决定能否规模化的事:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:自2016年以来,大语言模型的规模以每两年增长35倍的速度增长,其增长速度甚至超过了计算需求。遗憾的是,在同一时期,GPU内存每两年仅增加大约两倍,这远远不够。