知识卡片
BERT与GPT架构对照
理解BERT与GPT的分野,从Transformer的分叉看最清楚:Encoder分支双向可见,演化为BERT,配MLM与NSP目标,擅长理解;Decoder分支带因果遮掩,演化为GPT系列,配语言模型目标,擅长生成。BERT块用多头自注意力加前馈层,GPT块只保留遮掩多头自注意力。图把二者的共同祖先、分支与关键组件放进一张类图,便于对照。
结构图:
classDiagram
class Transformer {
+Encoder encoder
+Decoder decoder
}
class Encoder {
+MultiHeadSelfAttention bidirectional
+FeedForward
+LayerNorm
}
class Decoder {
+MaskedMultiHeadAttention causal
+FeedForward
+LayerNorm
}
class BERT {
+MLM maskedLanguageModel
+NSP nextSentencePrediction
+NLU task
}
class GPT {
+LM languageModel
+ZeroShot
+NLG task
}
Transformer --> Encoder
Transformer --> Decoder
Encoder --> BERT
Decoder --> GPT
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 从ELMo到BERT和GPT · 查看原书依据
BERT预训练模型采用了Transformer的Encoder部分,而本节介绍的GPT系列(包括GPT-2、GPT-3)使用了Transformer的Decoder部分。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0004.xhtml)
- 结论依据:原文多处指出BERT用Encoder、GPT用Decoder、二者分别配MLM与LM并各有优势,结构图据此绘制。
- 原始内容:BERT预训练模型采用了Transformer的Encoder部分,而本节介绍的GPT系列(包括GPT-2、GPT-3)使用了Transformer的Decoder部分。