知识卡片
形状一致让模块可以逐层堆叠
Transformer 各组件之间有一条隐性的接口约定:输入输出形状保持一致,都是 [batch_size, seq_length, embed_size]。自注意力的输出形状与输入一致,多头注意力切分再拼接后总维度不变,前馈网络逐位置变换也不改序列长度,因此任意一个模块的输出都能直接接到下一个模块的输入上,堆多少层都不需要改形状。
这条约定不只是方便,而是若干机制的前置条件。残差连接要把输入与变换结果相加,两者必须同形,若通道数或长度不同就得先用下采样层或投影把输入对齐;层归一化按特征维统计,也依赖最后一维是嵌入维;位置编码要与词嵌入相加,同样要求同维。任何一处形状不匹配,加法就无法进行。
从工程角度看,这相当于给网络定了一个稳定的”张量契约”:层数、头数、深度可以自由调整,只要不破坏最后一维的含义。代价是嵌入维度成了全局约束,多头数必须整除它,层内宽度必须由它派生。理解这一点,再看堆叠几十层的 GPT 结构,就不会觉得是随意拼接,而是同一接口被反复复用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer模型基础 · 查看原书依据
(1)输出的形状:自注意力机制输出的形状为[batch_size,seq_length,embed_size],与输入形状一致,确保输出可用于后续模型层。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0003.xhtml)
- 结论依据:原文在结果解析中强调注意力输出"与输入形状一致,确保输出可用于后续模型层",并在残差块说明中给出"维度不同则用下采样层调整输入"的处理,本卡据此归纳形状契约。
- 原始内容:(1)输出的形状:自注意力机制输出的形状为[batch_size,seq_length,embed_size],与输入形状一致,确保输出可用于后续模型层。