知识卡片

普通读书笔记卡 · 9689.h · 生成模型:DeepSeek-V4.1-Flash

专用加速器与利用墙

理解等级:中级

过去几十年算力的增长靠两条经验规律:摩尔定律(晶体管数约每两年翻倍)与 Dennard 缩放(尺寸缩小 1/k,速度提升 k 倍、功耗降到 1/k²,于是每瓦性能指数上升)。

转折:2000 年代后期,电源电压逼近物理极限,Dennard 缩放失效,芯片进入“利用墙”——晶体管还在增加,但受散热能力限制,能同时点亮的比例有限。提升算力只能改走两条路:堆并行(多核、GPU 的大量简单内核)与专用化(为特定领域定制芯片)。

为什么 AI 适合专用化:计算集中在大规模张量乘加上,算子种类很少(乘、加、ReLU、指数),控制流可在编译期确定,因而可以砍掉通用逻辑换取效率。医院类比很贴切:CPU 是综合医院,什么都能看但每项不极致;加速器是专科医院,只治一类病但设施更好、单位成本更低。代价是灵活性——专用芯片只能跑它擅长的负载。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      然而,由于晶体管的电源电压已接近物理极限,无法再向下扩展,因此,2000年后期,Dennard缩放定律达到极限。这导致Dennard缩放定律的消亡和“利用墙”(utilization wall)的出现。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「然而,由于晶体管的电源电压已接近物理极限,无法再向下扩展,因此,20…」为中心展开,本卡的核心判断「过去几十年算力的增长靠两条经验规律:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:然而,由于晶体管的电源电压已接近物理极限,无法再向下扩展,因此,2000年后期,Dennard缩放定律达到极限。这导致Dennard缩放定律的消亡和“利用墙”(utilization wall)的出现。