知识卡片
Seq2Seq编码解码
Seq2Seq 突破了固定大小输入的限制,常用于机器翻译、对话机器人和语音识别。传统做法联合两个循环神经网络:编码器依次读入整句话,只保留最后一个隐藏状态,把整句话浓缩成一个内容向量;解码器从起始标记开始,用前一个输出作为下一步输入,逐词生成结果。它的优势是输入和输出的长度可以不同。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第7章《分布式深度学习实战》(源文件:_epub-src/OEBPS/Text/chapter7.xhtml)
- 结论依据:原文说明Seq2Seq突破固定大小输入的问题,用于翻译、智能问答等序列任务;传统Seq2Seq用两个循环神经网络:编码过程只保留最后一个隐藏状态,把整句话浓缩为一个内容向量;解码过程根据前面结果逐个生成后面的词;优势是不同长度的输入序列能得到任意长度的输出序列。
- 原始内容:但是编码的不同之处在于其只保留最后一个隐藏状态,相当于将整句话浓缩在一起,将其存为一个内容向量(context)供后面的解码器(decoder)使用。……而序列到序列的网络结构的优势在于不同长度的输入序列能够得到任意长度的输出序列。