知识卡片
Encoder与Decoder分工
章末把 BERT 与 GPT 的分工收束到 Transformer 的两半:BERT 用 Encoder 部分,双向编码更擅长自然语言理解;GPT 用 Decoder 部分,自回归地逐词生成更擅长自然语言生成。本章给 GPT-2 一句话、让它返回一段剧情,正是典型的生成类任务。这也解释了为什么前面用 BERT 做分类、这里却要用 GPT-2 来写文本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 用GPT-2生成文本 · 查看原书依据
BERT模型使用Transformer的Encoder部分,比较擅长自然语言理解类的任务,而GPT模型使用Transformer的Decoder部分,属于自回归,擅长自然语言生成类的任务。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第15章 用GPT-2生成文本(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter19_0004.xhtml)
- 结论依据:15.4 小结直接对比 BERT 的 Encoder 与 GPT 的 Decoder,并指出本章实例属自然语言生成。
- 原始内容:BERT模型使用Transformer的Encoder部分,比较擅长自然语言理解类的任务,而GPT模型使用Transformer的Decoder部分,属于自回归,擅长自然语言生成类的任务。