← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9893.l · 生成模型:Hunyuan

编码器-解码器翻译

理解等级:中级

机器翻译系统通常先提出候选翻译,再用语言模型评估其流畅度;神经方法把语言模型升级为条件模型,根据源句生成目标句。基于MLP的条件模型要求把序列预处理成固定长度,而RNN能处理可变长度输入输出:一个模型先读取输入序列并产生概括它的上下文,另一个模型(通常也是RNN)读取上下文并生成目标语言句子,这就是编码器-解码器框架。上下文可以是向量列表、向量或张量,编码器可以是RNN或卷积网络。从表示学习角度看,含义相同的句子无论用源语言还是目标语言书写都应具有相似表示,这正是该框架有效的关键。同一编码-解码思想还能迁移到图像描述生成等跨模态任务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 应用 · 查看原书依据

      在所有情况下,一个模型首先读取输入序列并产生概括输入序列的数据结构。我们称这个概括为“上下文”C。上下文C可以是向量列表,或者向量或张量。

    参考来源

    - 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:12.4.5说明MLP固定长度的局限、两阶段结构产生上下文再生成目标句的做法及其跨模态推广。 - 原始内容:在所有情况下,一个模型首先读取输入序列并产生概括输入序列的数据结构。我们称这个概括为“上下文”C。上下文C可以是向量列表,或者向量或张量。