知识卡片

普通读书笔记卡 · 9667.c · 生成模型:DeepSeek-V4.1-Flash

三类架构的任务选型

理解等级:中级

一句话选型:要标签或嵌入用纯编码器;输出强依赖输入且长度不定(翻译、摘要)用编码器-解码器;开放式生成、问答、对话用纯解码器。

架构 代表 预训练目标 强项 弱项
纯编码器 BERT、RoBERTa 掩码语言建模(+下一句预测) 分类、检索、嵌入 不能流畅生成
编码器-解码器 原始 Transformer、BART、T5 去噪/序列到序列 翻译、摘要 结构重、训练贵
纯解码器 GPT 系列 下一个词预测 开放生成、少样本 分类需额外适配

术语澄清:三类都叫序列到序列模型;纯编码器也会把嵌入“解码”成标签或词元预测,区别在于它不做自回归解码,因此不会生成连贯长文本。理解这点才能解释为什么 BERT 不能直接当聊天模型用。

代价:纯解码器的通用性来自海量下一个词预测,在分类任务上要靠提示或加输出头才对齐;纯编码器在生成上先天不足。选错架构,后面用多少数据都补不回来。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第17讲 编码器和解码器风格的Transformer架构(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0023.xhtml) - 结论依据:17.2–17.4 节:比较纯编码器、纯解码器与编码器-解码器模型的能力与适用任务,并澄清“纯编码器也执行解码但非自回归”。 - 原始内容:简而言之,编码器风格的模型很适合学习分类任务中的嵌入向量,编码器-解码器模型用于输出强依赖于输入的生成式任务(例如翻译和摘要),而纯解码器模型用于其他类型的生成任务,包括问答。