知识卡片
神经机器翻译与编解码结构
神经机器翻译(NMT)用深度学习替代基于规则的翻译,能像人一样学习语言并生成更自然的译文。它采用编码器—解码器结构,核心是循环神经网络:编码器接收可变长度的输入序列,把它压缩成一个固定大小的向量;解码器从这个向量出发,逐词生成译文,直到预测出句子结束。整个架构以原句和正确译文端到端训练。它的优势在于学习整句的上下文而非逐词直译,因此能处理变长输入。聊天机器人正是这一结构的延伸:用查询—响应样本训练后,面对新查询也能生成回答。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度学习入门 深度学习的应用 · 查看原书依据
神经机器翻译模型是循环神经网络(RNN),以编码器/解码器的方式排列。 编码器网络通过 RNN 接收可变长度的输入序列,并将这些序列编码为固定大小的向量。 解码器从此编码向量开始,并开始逐字生成翻译,直到它预测句子的结尾。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第01章《深度学习入门》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/04.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文给出编码器压缩为固定向量、解码器逐词生成及端到端训练的细节,支撑本卡对编解码结构的归纳;聊天机器人的延伸亦在原文说明。
- 原始内容:神经机器翻译模型是循环神经网络(RNN),以编码器/解码器的方式排列。 编码器网络通过 RNN 接收可变长度的输入序列,并将这些序列编码为固定大小的向量。 解码器从此编码向量开始,并开始逐字生成翻译,直到它预测句子的结尾。