知识卡片
编码器与解码器分工
编码器处理输入序列并产生上下文表示,解码器利用这些表示决定输出序列。在原始 Transformer 编码器—解码器架构中,两者由多个块构成;这一分工帮助将输入理解与目标生成连接起来,但并非所有 Transformer 模型都同时包含两部分。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer 7.2 Transformer结构 · 查看原书依据
一般的序列到序列模型可以分解成编码器和解码器,如图7.7 所示.编码器负责处理输入序列,再把处理好的结果输入解码器,由解码器决定输出序列.
参考来源
- 位置:《深度学习详解》第7章《Transformer》7.2 Transformer结构(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`)
- 结论依据:原文以编解码结构图和编码器块说明各部分以及两种归一化的统计范围。
- 原始内容:一般的序列到序列模型可以分解成编码器和解码器,如图7.7 所示.编码器负责处理输入序列,再把处理好的结果输入解码器,由解码器决定输出序列.