知识卡片
平方复杂度决定上下文上限
结论:每个词元都要与其他所有词元比较,时间 O(n²d)、注意力矩阵空间 O(n²)。序列从 1k 增到 8k,分数个数从 100 万涨到 6400 万,涨的是 64 倍而不是 8 倍。
两个代价要分开算:时间可以用分块重计算把显存压到 O(n),但乘加次数不会减少;显存可以靠不落地整张矩阵来省,延迟却仍在。真正的墙是 O(n²) 的乘加本身。
| 长度 n | 每头分数个数 | 相对 1k 的倍数 |
|---|---|---|
| 1k | 1.0×10⁶ | 1× |
| 4k | 1.6×10⁷ | 16× |
| 16k | 2.6×10⁸ | 256× |
因此:长上下文要么接受成本,要么改用稀疏/滑窗注意力、分块检索或线性近似——这些方案换的是“不看不必要的对”,代价是牺牲一部分全局可见性,可能漏掉远距离依赖。RNN 是 O(n·d²) 但串行,两类方案是在并行度与长度之间做不同的取舍。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 自注意力 · 查看原书依据
考虑到自注意力机制会让序列中的每个元素与其他所有元素进行比较,自注意力的时间复杂度和空间复杂度是多少呢?
参考来源
- 位置:《大模型技术30讲》第16讲 自注意力(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0022.xhtml)
- 结论依据:16.3 节练习 16-1 直接提问自注意力的时间与空间复杂度;结合 16.2 节“每个元素与其他所有元素比较”的定义推得 O(n²d) 与 O(n²)。
- 原始内容:考虑到自注意力机制会让序列中的每个元素与其他所有元素进行比较,自注意力的时间复杂度和空间复杂度是多少呢?