← 返回刚才阅读的位置

知识卡片

结构图卡 · 9547 · 生成模型:DeepSeek-V4.1-Flash

层堆叠靠注意力与前馈逐层抽象

理解等级:中级

GPT-2 的基本单元不是单个注意力层,而是一个固定搭配的块:先做自注意力,让序列中不同位置交换信息;再做前馈神经网络,对每个位置独立地做一次非线性变换;两条支路都外挂残差连接与层归一化,负责把信息和梯度稳稳送过去。把这些块首尾相接堆若干层,就是层堆叠。

两类子层的分工是理解堆叠的关键。自注意力只在位置之间搬运与混合信息,本身不改变单个位置的表达容量;前馈网络则在每个位置上独立工作,用两层全连接加 ReLU 把混合后的表示映射到更高维再压回,承担主要的非线性变换。缺了前者,各位置无法互相看见;缺了后者,模型只有加权平均而没有特征加工。

堆叠之所以有效,是因为每层输出形状不变,可以无缝接下一层,于是低层学到较局部的搭配,高层把它们组合成更抽象的语义模式。代价在深度:层数越多,梯度传播与分布漂移越难控制,这正是残差与层归一化必须同层出现的原因,也是 [[单向掩码只让模型看到过去]] 能在每一层都生效的前提。

结构图:

graph TD
  A[上一层输出] --> B[自注意力 混合各位置信息]
  B --> C[残差相加与层归一化]
  C --> D[前馈网络 两层全连接加 ReLU]
  D --> E[残差相加与层归一化]
  E --> F[送入下一层或输出]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • GPT模型文本生成核心原理与实现 · 查看原书依据

      在GPT-2模型中,层堆叠是一种通过多层模块组合来增强模型特征表达能力的结构,每一层包含自注意力机制和前馈神经网络。每一层从前一层接收输入,通过自注意力捕捉序列中不同位置的依赖关系,再通过前馈神经网络进行特征变换,最后利用残差连接与层归一化稳定信息流动。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第2章《GPT模型文本生成核心原理与实现》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter006_0001.xhtml) - 结论依据:原文定义每层"包含自注意力机制和前馈神经网络",并说明"利用残差连接与层归一化稳定信息流动",代码解析中把多块堆叠为 GPT2LayerStack,本卡据此归纳分工与深度代价。 - 原始内容:在GPT-2模型中,层堆叠是一种通过多层模块组合来增强模型特征表达能力的结构,每一层包含自注意力机制和前馈神经网络。每一层从前一层接收输入,通过自注意力捕捉序列中不同位置的依赖关系,再通过前馈神经网络进行特征变换,最后利用残差连接与层归一化稳定信息流动。