知识卡片
编码器-解码器翻译
机器翻译系统通常先提出候选翻译,再用语言模型评估其流畅度;神经方法把语言模型升级为条件模型,根据源句生成目标句。基于MLP的条件模型要求把序列预处理成固定长度,而RNN能处理可变长度输入输出:一个模型先读取输入序列并产生概括它的上下文,另一个模型(通常也是RNN)读取上下文并生成目标语言句子,这就是编码器-解码器框架。上下文可以是向量列表、向量或张量,编码器可以是RNN或卷积网络。从表示学习角度看,含义相同的句子无论用源语言还是目标语言书写都应具有相似表示,这正是该框架有效的关键。同一编码-解码思想还能迁移到图像描述生成等跨模态任务。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第12章 应用
原书出处 · 1 处
- 第12章 应用 · 查看原书依据
在所有情况下,一个模型首先读取输入序列并产生概括输入序列的数据结构。我们称这个概括为“上下文”C。上下文C可以是向量列表,或者向量或张量。
参考来源
- 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html)
- 结论依据:12.4.5说明MLP固定长度的局限、两阶段结构产生上下文再生成目标句的做法及其跨模态推广。
- 原始内容:在所有情况下,一个模型首先读取输入序列并产生概括输入序列的数据结构。我们称这个概括为“上下文”C。上下文C可以是向量列表,或者向量或张量。