知识卡片
Seq2Seq与上下文向量桥梁
“N to M”是 RNN 的变体,又称 Encoder-Decoder 或 Seq2Seq 模型,M 通常大于 N,是序列建模中最常用、最重要的形态。
做法是两步:先用 RNN 把整个输入序列编码成一个上下文向量 c;再把 c 作为初始状态的隐变量输入另一个 RNN 进行解码。向量 c 像一座桥梁,连接输入部分的隐藏层与输出部分的隐藏层。
为什么需要它?现实中绝大多数问题的输入输出序列并不等长,例如汉英翻译中英语句子与汉语句子基本不等长;而且模型要接收完整输入后才开始输出,因为译文第一个词往往要依赖整个输入序列的信息。
用途:翻译、摘要等“读完再生成”的任务。边界:编码成单一向量 c 会压缩信息,超长序列会形成瓶颈。迁移启发:当输出必须等输入读完后才决定,就应采用“先编码后解码”的两段式结构。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自然语言处理与循环神经网络 12.2.3 RNN的结构 · 查看原书依据
在现实生活中我们遇到的绝大多数问题的输入和输出序列都不等长 。例如在进行汉英翻译时,英语句子和翻译过来的汉语句子基本上不是等长的。模型接收到完整的输入后才会开始输出,因为翻译后的句子的第一个词的确定可能需要前面整个输入序列的信息。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第12章《自然语言处理与循环神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00017.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文说明 N to M 先编码成向量 c 再解码,并用翻译不等长的例子解释其必要性,支撑“Seq2Seq 用 c 作桥梁处理不等长序列”的结论。
- 原始内容:在现实生活中我们遇到的绝大多数问题的输入和输出序列都不等长 。例如在进行汉英翻译时,英语句子和翻译过来的汉语句子基本上不是等长的。模型接收到完整的输入后才会开始输出,因为翻译后的句子的第一个词的确定可能需要前面整个输入序列的信息。