知识卡片
编码器-解码器结构
编码器与解码器都由结构相同的层堆叠而成,差别在信息如何流动。编码器每层只有自注意力与前馈网络,所有位置彼此可见,输出是一整段带上下文的表征。解码器每层多出一个交叉注意力:查询来自解码器当前状态,键和值来自编码器输出,于是生成每个词时都能回到源序列中按需取信息。三种注意力的计算形式完全一样,区别只在键值的来源与可见性约束。
结构图:
flowchart TD
A[输入词元] --> B[词嵌入与位置嵌入]
B --> C[编码器自注意力]
C --> D[编码器前馈层]
D --> E[编码器输出表征]
G[已生成前缀] --> H[解码器掩码自注意力]
H --> I[交叉注意力 读编码器]
E --> I
I --> J[前馈与输出层]
J --> K[下一词元分布]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
Transformer的编码器由6个相同的重复模块组成,每个模块包含一个多头自注意力层和一个逐点全连接前馈网络。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「Transformer的编码器由6个相同的重复模块组成,每个模块包含…」为中心展开,本卡的核心判断「编码器与解码器都由结构相同的层堆叠而成,差别在信息如何流动。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Transformer的编码器由6个相同的重复模块组成,每个模块包含一个多头自注意力层和一个逐点全连接前馈网络。