知识卡片
自注意力取代循环的三个理由
Transformer 之所以能取代 RNN 成为主流架构,是因为它在三个彼此关联的维度上同时改善了序列建模:
| 维度 | 循环结构的问题 | 自注意力的做法 | 结果 |
|---|---|---|---|
| 并行性 | 第 t 步依赖第 t-1 步,只能逐步迭代 | 一次算出所有位置两两之间的相关性 | 训练可并行,速度显著提升 |
| 依赖距离 | 长距离信息要经过多步传递,容易衰减 | 任意两个位置直接相连 | 长序列依赖更易捕获 |
| 可扩展性 | 结构固定,堆叠方式受限 | 编码器/解码器模块可堆叠 | 便于加深、加宽与迁移 |
需要看清代价:自注意力的计算量随序列长度呈平方增长,并行换来的是显存与算力开销;这也解释了后续为什么会出现稀疏注意力、分块处理等工程手段。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 引言
原书出处 · 1 处
- 引言 · 查看原书依据
(1)高效并行化:Transformer利用自注意力机制,能够同时计算序列中所有位置之间的相关性,而无须逐步迭代,显著提升了训练速度。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》引言《大模型技术的发展与开发环境》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter004.xhtml)
- 结论依据:原文以"高效并行化、长距离依赖建模、模块化设计"三点说明 Transformer 的突破,并指出其核心是缩放点积注意力。
- 原始内容:(1)高效并行化:Transformer利用自注意力机制,能够同时计算序列中所有位置之间的相关性,而无须逐步迭代,显著提升了训练速度。