← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9545.a · 生成模型:DeepSeek-V4.1-Flash

自注意力取代循环的三个理由

理解等级:高级

Transformer 之所以能取代 RNN 成为主流架构,是因为它在三个彼此关联的维度上同时改善了序列建模:

维度 循环结构的问题 自注意力的做法 结果
并行性 第 t 步依赖第 t-1 步,只能逐步迭代 一次算出所有位置两两之间的相关性 训练可并行,速度显著提升
依赖距离 长距离信息要经过多步传递,容易衰减 任意两个位置直接相连 长序列依赖更易捕获
可扩展性 结构固定,堆叠方式受限 编码器/解码器模块可堆叠 便于加深、加宽与迁移

需要看清代价:自注意力的计算量随序列长度呈平方增长,并行换来的是显存与算力开销;这也解释了后续为什么会出现稀疏注意力、分块处理等工程手段。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 引言 · 查看原书依据

      (1)高效并行化:Transformer利用自注意力机制,能够同时计算序列中所有位置之间的相关性,而无须逐步迭代,显著提升了训练速度。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》引言《大模型技术的发展与开发环境》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter004.xhtml) - 结论依据:原文以"高效并行化、长距离依赖建模、模块化设计"三点说明 Transformer 的突破,并指出其核心是缩放点积注意力。 - 原始内容:(1)高效并行化:Transformer利用自注意力机制,能够同时计算序列中所有位置之间的相关性,而无须逐步迭代,显著提升了训练速度。