知识卡片

普通读书笔记卡 · 9545.b · 生成模型:DeepSeek-V4.1-Flash

预训练微调的三种架构路线

理解等级:中级

“预训练 + 微调”是当前大模型的基本范式:先在无标注语料上学习通用表示,再用任务数据调整。三种代表性架构的差别在于预训练目标决定了模型擅长什么:

  • BERT:双向编码器,用掩码语言模型(MLM)和下一句预测(NSP)训练,能看到上下文两侧,擅长理解类任务,如分类、抽取。
  • GPT:单向解码器,按自回归方式预测下一个词,天然适合生成、续写与对话。
  • T5:把所有任务统一改写为”文本到文本”,用同一套输入输出格式覆盖翻译、摘要、分类,便于多任务统一训练。

选择时的判断依据不是”哪个更强”,而是任务需要双向理解还是逐步生成;把生成模型硬用于分类、或把双向编码器用于开放式生成,都会浪费其预训练目标带来的优势。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 引言 · 查看原书依据

      (2)GPT(Generative Pre-trained Transformer):GPT采用单向解码器架构,通过自回归方式建模序列生成任务,擅长文本生成、续写等任务,在生成式应用中表现突出。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》引言《大模型技术的发展与开发环境》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter004.xhtml) - 结论依据:原文分别说明 BERT 的双向编码器与 MLM/NSP、GPT 的单向解码器与自回归、T5 的文本到文本统一格式。 - 原始内容:(2)GPT(Generative Pre-trained Transformer):GPT采用单向解码器架构,通过自回归方式建模序列生成任务,擅长文本生成、续写等任务,在生成式应用中表现突出。