知识卡片
层堆叠靠注意力与前馈逐层抽象
GPT-2 的基本单元不是单个注意力层,而是一个固定搭配的块:先做自注意力,让序列中不同位置交换信息;再做前馈神经网络,对每个位置独立地做一次非线性变换;两条支路都外挂残差连接与层归一化,负责把信息和梯度稳稳送过去。把这些块首尾相接堆若干层,就是层堆叠。
两类子层的分工是理解堆叠的关键。自注意力只在位置之间搬运与混合信息,本身不改变单个位置的表达容量;前馈网络则在每个位置上独立工作,用两层全连接加 ReLU 把混合后的表示映射到更高维再压回,承担主要的非线性变换。缺了前者,各位置无法互相看见;缺了后者,模型只有加权平均而没有特征加工。
堆叠之所以有效,是因为每层输出形状不变,可以无缝接下一层,于是低层学到较局部的搭配,高层把它们组合成更抽象的语义模式。代价在深度:层数越多,梯度传播与分布漂移越难控制,这正是残差与层归一化必须同层出现的原因,也是 [[单向掩码只让模型看到过去]] 能在每一层都生效的前提。
结构图:
graph TD
A[上一层输出] --> B[自注意力 混合各位置信息]
B --> C[残差相加与层归一化]
C --> D[前馈网络 两层全连接加 ReLU]
D --> E[残差相加与层归一化]
E --> F[送入下一层或输出]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- GPT模型文本生成核心原理与实现 · 查看原书依据
在GPT-2模型中,层堆叠是一种通过多层模块组合来增强模型特征表达能力的结构,每一层包含自注意力机制和前馈神经网络。每一层从前一层接收输入,通过自注意力捕捉序列中不同位置的依赖关系,再通过前馈神经网络进行特征变换,最后利用残差连接与层归一化稳定信息流动。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第2章《GPT模型文本生成核心原理与实现》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter006_0001.xhtml)
- 结论依据:原文定义每层"包含自注意力机制和前馈神经网络",并说明"利用残差连接与层归一化稳定信息流动",代码解析中把多块堆叠为 GPT2LayerStack,本卡据此归纳分工与深度代价。
- 原始内容:在GPT-2模型中,层堆叠是一种通过多层模块组合来增强模型特征表达能力的结构,每一层包含自注意力机制和前馈神经网络。每一层从前一层接收输入,通过自注意力捕捉序列中不同位置的依赖关系,再通过前馈神经网络进行特征变换,最后利用残差连接与层归一化稳定信息流动。