← 返回刚才阅读的位置

知识卡片

结构图卡 · 9548 · 生成模型:DeepSeek-V4.1-Flash

编码器堆叠层层递进

理解等级:中级

编码器堆叠指把结构相同的编码器层重复若干次,让同一段文本被反复加工。单层内部先做自注意力:每个位置生成查询、键、值三组向量,用查询与所有键的点积算出关联强度,经缩放与归一化后加权求和值向量,于是每个词的表示都吸收了整句信息;接着前馈网络对每个位置独立做非线性变换,把注意力汇总来的特征重新组合。子层外围用残差连接保住原始信息,用层归一化稳住数值尺度,深层堆叠才不会退化。堆叠带来的不是维度变化,而是抽象层级变化:浅层多处理词形与局部搭配,深层逐步汇聚长距离依赖与句级语义,前一层的输出原样成为后一层的输入。正因输入输出形状始终一致,层数才可以自由增加,下游任务也能直接取用最后一层的表示,见[[输出形状三层不变]]。

结构图:

graph TD
  A[词嵌入序列] --> B[编码器第1层]
  B --> C[一层语义总结]
  C --> D[编码器第2层]
  D --> E[二层语义总结]
  E --> F[编码器第N层]
  F --> G[上下文语义输出]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • BERT模型核心实现与预训练 · 查看原书依据

      BERT模型的编码器堆叠是其强大表征能力的核心。每个编码器层由自注意力机制和前馈神经网络组成,自注意力机制允许每个词关注到序列中的其他词,使模型能够捕捉到句子中复杂的依赖关系。前馈神经网络则通过对特征的非线性变换提升表达能力。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0001.xhtml) - 结论依据:原文说明每个编码器层由自注意力与前馈网络构成,并强调多层堆叠使每一层迭代丰富语义信息。 - 原始内容:BERT模型的编码器堆叠是其强大表征能力的核心。每个编码器层由自注意力机制和前馈神经网络组成,自注意力机制允许每个词关注到序列中的其他词,使模型能够捕捉到句子中复杂的依赖关系。前馈神经网络则通过对特征的非线性变换提升表达能力。