知识卡片
掩蔽模式划分架构家族
Transformer 的参数结构基本一致,真正把模型分成不同家族的是注意力掩蔽模式:它规定每个位置在算注意力时能看见哪些位置,也就规定了模型能学到什么样的上下文。
| 架构 | 掩蔽方式 | 典型用途 |
|---|---|---|
| 仅编码器 | 全部位置互相可见(双向) | 理解、分类、抽取 |
| 仅因果解码器 | 只看左侧(因果) | 自回归生成、续写 |
| 非因果仅解码器 | 前缀段双向、其后因果 | 指令输入加生成输出 |
| 编码器-解码器 | 编码器双向,解码器因果 | 输入到输出的转换 |
编码器-解码器的关键零件是交叉注意力:解码器每一层都能查询编码器的输出,所以输入序列与输出序列的长度可以不同,也不需要挤在同一条序列里。仅解码器没有这个零件,它把输入和输出拼成一条序列,用同一套参数逐层处理两段文本,靠因果掩蔽保证生成时只看过去。仅编码器根本没有生成分支,输入多少词元就只能输出多少词元。
判断一个模型属于哪一族,看两件事就够:它的注意力掩蔽是不是因果的,以及是否存在一个独立编码输入的模块。
结构图:
flowchart LR
A[输入词元] --> B[注意力掩蔽模式]
B --> C[全双向 仅编码器]
B --> D[全因果 仅解码器]
B --> E[前缀双向 前缀LM]
B --> F[编码器双向 解码器因果]
F --> G[交叉注意力连接输入与输出]
C --> H[输出与输入等长]
D --> I[逐词元自回归生成]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
然而,Transformer架构有许多变体,其中一个主要区别是应用于输入的掩蔽模式。这些模式是模型进行预测的上下文信息。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「然而,Transformer架构有许多变体,其中一个主要区别是应用于…」为中心展开,本卡的核心判断「Transformer 的参数结构基本一致,真正把模型分成不同家族的是注意力掩蔽模式:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:然而,Transformer架构有许多变体,其中一个主要区别是应用于输入的掩蔽模式。这些模式是模型进行预测的上下文信息。