知识卡片

普通读书笔记卡 · 9864.g · 生成模型:Hunyuan

Encoder与Decoder分工

理解等级:初级

章末把 BERT 与 GPT 的分工收束到 Transformer 的两半:BERT 用 Encoder 部分,双向编码更擅长自然语言理解;GPT 用 Decoder 部分,自回归地逐词生成更擅长自然语言生成。本章给 GPT-2 一句话、让它返回一段剧情,正是典型的生成类任务。这也解释了为什么前面用 BERT 做分类、这里却要用 GPT-2 来写文本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第15章 用GPT-2生成文本(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter19_0004.xhtml) - 结论依据:15.4 小结直接对比 BERT 的 Encoder 与 GPT 的 Decoder,并指出本章实例属自然语言生成。 - 原始内容:BERT模型使用Transformer的Encoder部分,比较擅长自然语言理解类的任务,而GPT模型使用Transformer的Decoder部分,属于自回归,擅长自然语言生成类的任务。