← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9853.f · 生成模型:Hunyuan

编码解码与Seq2Seq

理解等级:中级

Encoder-Decoder 是一种通用神经网络设计模式:编码器先把源数据编码成一个通常为向量的状态 C,解码器再根据 C 和此前已生成的历史信息逐步产生输出;编码器和解码器常选用 RNN、LSTM、GRU 等循环网络。Seq2Seq 基于这一框架,要求输入与输出都是序列,从而突破输入、输出必须为固定长度向量的限制,适用于机器翻译、语音识别、自动对话等长度不固定的任务。其局限是所有输出词都依赖同一个向量 C,序列稍长时性能下降,需要引入注意力机制解决,相关门控组件见 [[三种循环网络门控对比]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 文本及序列处理 · 查看原书依据

      Encoder-Decoder模型是一种神经网络设计模式,其架构示意图如图4-8所示。模型分为两部分:编码器和解码器。首先由编码器将源数据编码为状态,该状态通常为向量,然后,将状态传递给解码器生成输出。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第4章 文本及序列处理(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter7_0002.xhtml) - 结论依据:原文定义 Encoder-Decoder 的编码状态再解码过程,并说明 Seq2Seq 基于该框架、输入输出均为序列及单一向量 C 的缺点。 - 原始内容:Encoder-Decoder模型是一种神经网络设计模式,其架构示意图如图4-8所示。模型分为两部分:编码器和解码器。首先由编码器将源数据编码为状态,该状态通常为向量,然后,将状态传递给解码器生成输出。