知识卡片

结构图卡 · 9856.k · 生成模型:Hunyuan

BERT与GPT架构对照

理解等级:中级

理解BERT与GPT的分野,从Transformer的分叉看最清楚:Encoder分支双向可见,演化为BERT,配MLM与NSP目标,擅长理解;Decoder分支带因果遮掩,演化为GPT系列,配语言模型目标,擅长生成。BERT块用多头自注意力加前馈层,GPT块只保留遮掩多头自注意力。图把二者的共同祖先、分支与关键组件放进一张类图,便于对照。

结构图:

classDiagram
    class Transformer {
        +Encoder encoder
        +Decoder decoder
    }
    class Encoder {
        +MultiHeadSelfAttention bidirectional
        +FeedForward
        +LayerNorm
    }
    class Decoder {
        +MaskedMultiHeadAttention causal
        +FeedForward
        +LayerNorm
    }
    class BERT {
        +MLM maskedLanguageModel
        +NSP nextSentencePrediction
        +NLU task
    }
    class GPT {
        +LM languageModel
        +ZeroShot
        +NLG task
    }
    Transformer --> Encoder
    Transformer --> Decoder
    Encoder --> BERT
    Decoder --> GPT
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0004.xhtml) - 结论依据:原文多处指出BERT用Encoder、GPT用Decoder、二者分别配MLM与LM并各有优势,结构图据此绘制。 - 原始内容:BERT预训练模型采用了Transformer的Encoder部分,而本节介绍的GPT系列(包括GPT-2、GPT-3)使用了Transformer的Decoder部分。