知识卡片

结构图卡 · 9686.e · 生成模型:DeepSeek-V4.1-Flash

编码器-解码器结构

理解等级:中级

编码器与解码器都由结构相同的层堆叠而成,差别在信息如何流动。编码器每层只有自注意力与前馈网络,所有位置彼此可见,输出是一整段带上下文的表征。解码器每层多出一个交叉注意力:查询来自解码器当前状态,键和值来自编码器输出,于是生成每个词时都能回到源序列中按需取信息。三种注意力的计算形式完全一样,区别只在键值的来源与可见性约束。

结构图:

flowchart TD
  A[输入词元] --> B[词嵌入与位置嵌入]
  B --> C[编码器自注意力]
  C --> D[编码器前馈层]
  D --> E[编码器输出表征]
  G[已生成前缀] --> H[解码器掩码自注意力]
  H --> I[交叉注意力 读编码器]
  E --> I
  I --> J[前馈与输出层]
  J --> K[下一词元分布]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「Transformer的编码器由6个相同的重复模块组成,每个模块包含…」为中心展开,本卡的核心判断「编码器与解码器都由结构相同的层堆叠而成,差别在信息如何流动。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Transformer的编码器由6个相同的重复模块组成,每个模块包含一个多头自注意力层和一个逐点全连接前馈网络。