知识卡片
编码器堆叠层层递进
编码器堆叠指把结构相同的编码器层重复若干次,让同一段文本被反复加工。单层内部先做自注意力:每个位置生成查询、键、值三组向量,用查询与所有键的点积算出关联强度,经缩放与归一化后加权求和值向量,于是每个词的表示都吸收了整句信息;接着前馈网络对每个位置独立做非线性变换,把注意力汇总来的特征重新组合。子层外围用残差连接保住原始信息,用层归一化稳住数值尺度,深层堆叠才不会退化。堆叠带来的不是维度变化,而是抽象层级变化:浅层多处理词形与局部搭配,深层逐步汇聚长距离依赖与句级语义,前一层的输出原样成为后一层的输入。正因输入输出形状始终一致,层数才可以自由增加,下游任务也能直接取用最后一层的表示,见[[输出形状三层不变]]。
结构图:
graph TD
A[词嵌入序列] --> B[编码器第1层]
B --> C[一层语义总结]
C --> D[编码器第2层]
D --> E[二层语义总结]
E --> F[编码器第N层]
F --> G[上下文语义输出]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- BERT模型核心实现与预训练 · 查看原书依据
BERT模型的编码器堆叠是其强大表征能力的核心。每个编码器层由自注意力机制和前馈神经网络组成,自注意力机制允许每个词关注到序列中的其他词,使模型能够捕捉到句子中复杂的依赖关系。前馈神经网络则通过对特征的非线性变换提升表达能力。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0001.xhtml)
- 结论依据:原文说明每个编码器层由自注意力与前馈网络构成,并强调多层堆叠使每一层迭代丰富语义信息。
- 原始内容:BERT模型的编码器堆叠是其强大表征能力的核心。每个编码器层由自注意力机制和前馈神经网络组成,自注意力机制允许每个词关注到序列中的其他词,使模型能够捕捉到句子中复杂的依赖关系。前馈神经网络则通过对特征的非线性变换提升表达能力。