知识卡片
三类架构的任务选型
一句话选型:要标签或嵌入用纯编码器;输出强依赖输入且长度不定(翻译、摘要)用编码器-解码器;开放式生成、问答、对话用纯解码器。
| 架构 | 代表 | 预训练目标 | 强项 | 弱项 |
|---|---|---|---|---|
| 纯编码器 | BERT、RoBERTa | 掩码语言建模(+下一句预测) | 分类、检索、嵌入 | 不能流畅生成 |
| 编码器-解码器 | 原始 Transformer、BART、T5 | 去噪/序列到序列 | 翻译、摘要 | 结构重、训练贵 |
| 纯解码器 | GPT 系列 | 下一个词预测 | 开放生成、少样本 | 分类需额外适配 |
术语澄清:三类都叫序列到序列模型;纯编码器也会把嵌入“解码”成标签或词元预测,区别在于它不做自回归解码,因此不会生成连贯长文本。理解这点才能解释为什么 BERT 不能直接当聊天模型用。
代价:纯解码器的通用性来自海量下一个词预测,在分类任务上要靠提示或加输出头才对齐;纯编码器在生成上先天不足。选错架构,后面用多少数据都补不回来。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第17章 编码器和解码器风格的Transformer架构 · 查看原书依据
简而言之,编码器风格的模型很适合学习分类任务中的嵌入向量,编码器-解码器模型用于输出强依赖于输入的生成式任务(例如翻译和摘要),而纯解码器模型用于其他类型的生成任务,包括问答。
参考来源
- 位置:《大模型技术30讲》第17讲 编码器和解码器风格的Transformer架构(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0023.xhtml)
- 结论依据:17.2–17.4 节:比较纯编码器、纯解码器与编码器-解码器模型的能力与适用任务,并澄清“纯编码器也执行解码但非自回归”。
- 原始内容:简而言之,编码器风格的模型很适合学习分类任务中的嵌入向量,编码器-解码器模型用于输出强依赖于输入的生成式任务(例如翻译和摘要),而纯解码器模型用于其他类型的生成任务,包括问答。