知识卡片
编码器-解码器序列到序列
编码器-解码器架构让RNN把输入序列映射为不一定等长的输出序列,适用于翻译、语音识别与问答等输入输出长度不同(但可能相关)的场景。编码器RNN读取输入序列,通常把最终隐藏状态作为上下文向量C,即输入序列的语义概要;解码器RNN以这个固定长度向量为条件生成输出序列,二者联合训练以最大化目标的条件似然。其创新之处在于输入长度与输出长度可以彼此不同,突破了此前架构要求等长的限制。编码器与解码器的隐藏层大小也不必相同。主要不足是固定维度的C容量有限,难以概括长序列;注意力机制让C变为可变长度序列并学习与输出元素对齐,从而缓解这一瓶颈。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 序列建模:循环和递归网络 · 查看原书依据
解码器 (decoder)或写入器 (writer)或输出 (output)RNN则以固定长度的向量(见图10.9)为条件产生输出序列 。这种架构对比本章前几节提出的架构的创新之处在于长度n x 和n y 可以彼此不同,而之前的架构约束n x =n y =τ。
参考来源
- 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:原文描述编码器产生上下文、解码器生成输出的流程,并明确指出长度可不同这一创新与固定上下文向量维度过小的不足。
- 原始内容:解码器 (decoder)或写入器 (writer)或输出 (output)RNN则以固定长度的向量(见图10.9)为条件产生输出序列 。这种架构对比本章前几节提出的架构的创新之处在于长度n x 和n y 可以彼此不同,而之前的架构约束n x =n y =τ。