知识卡片
输出形状三层不变
编码器堆叠的输入与输出保持同一形状 [batch_size, seq_length, embed_size],即批大小、序列长度、嵌入维度三段都不变。这一性质有三重作用。其一,层与层可以直接串联,不需要在中间插入投影来对齐维度,堆叠多少层都由同一份代码完成。其二,残差连接要求相加的两侧形状一致,形状不变正好满足,梯度可以沿捷径回传。其三,序列长度不变意味着位置一一对应,第 i 个输出仍然描述第 i 个输入词,下游做逐位置预测(例如掩码词还原)时标签可以直接对齐,不必做额外变换。因此“加深”只改变每个位置的向量内容,不改变张量的骨架;模型堆的是语义,不是结构。这类稳定的形状约定,也正是多层网络能被反复复用、拼装的前提,见[[编码器堆叠层层递进]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- BERT模型核心实现与预训练 · 查看原书依据
(1)编码器堆叠输出形状:输出形状与输入形状保持一致,为[batch_size,seq_length,embed_size],便于在多层堆叠中保持信息一致。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0001.xhtml)
- 结论依据:原文对代码运行结果作解析,指出编码器输出形状与输入一致,便于在多层堆叠中保持信息一致。
- 原始内容:(1)编码器堆叠输出形状:输出形状与输入形状保持一致,为[batch_size,seq_length,embed_size],便于在多层堆叠中保持信息一致。