知识卡片
编码器读全句,解码器逐词生成
Seq2Seq 的任务是把一个长度可变的输入序列映射成另一个长度可变的输出序列,做法是让两段网络接力:编码器先读完整句,解码器再逐词写出结果。编码器通常由 RNN、LSTM 或 GRU 构成,沿时间步依次吃入标记,并把最后一个时间步的隐藏状态(LSTM 还带细胞状态)当作整句的表示,也就是上下文向量,交给解码器;解码器以这个状态为初始状态,每一步结合上一时间步的输出生成一个目标标记,直到写完整句。
这种”读整句—写整句”的分工,使同一套结构能服务于机器翻译、文本摘要、文本生成和问答等任务,而不必为每个任务重设输入输出长度。它的两个内在限制也来自这一设计:整句信息被压进一个固定长度的向量,句子越长,前段信息越容易被稀释;解码必须按时间步串行推进,无法像自注意力那样一次并行处理全句。后文的位置编码、自注意力与多头注意力,正是围绕这两个限制展开的改造。
结构图:
graph LR
A[输入序列 ABC] --> B[编码器 RNN 或 LSTM]
B --> C[上下文向量 末步隐藏状态]
C --> D[解码器 RNN 或 LSTM]
D --> E[输出序列 WXYZ]
D -.上一步输出回填.-> D
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer模型基础 · 查看原书依据
Seq2Seq模型是一种将输入序列映射为输出序列的深度学习架构,广泛应用于机器翻译、文本摘要等序列生成任务。Seq2Seq模型包含两个主要部分:编码器(Encoder)和解码器(Decoder)。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0001.xhtml)
- 结论依据:原文明确编码器"将最后一个隐藏状态作为整个输入序列的表示传递给解码器",解码器"从初始的上下文向量开始,结合上一时间步的输出,逐步生成目标序列",本卡据此归纳两端职责与定长向量的取舍。
- 原始内容:Seq2Seq模型是一种将输入序列映射为输出序列的深度学习架构,广泛应用于机器翻译、文本摘要等序列生成任务。Seq2Seq模型包含两个主要部分:编码器(Encoder)和解码器(Decoder)。