← 返回刚才阅读的位置

知识卡片

问题卡 · 9682.b · 生成模型:DeepSeek-V4.1-Flash

自注意力复杂度为何是平方

理解等级:中级

题目要求说明自注意力的时间和空间复杂度。答案没有停在“二次方”这个标签上,而是把矩阵形状摊开算了一遍:输入是 n 个词元(行)× d 维嵌入(列)的矩阵,计算相似度要做 Q 与 K 的转置相乘,得到 n×n 的相似度矩阵。单个词元对的点积需要 d 次乘法,这样的词元对有 n² 个,于是这一步是 n²d 次运算;随后用相似度矩阵对 V 做加权求和,量级同样是 n²d。空间上则必须物化那个 n×n 矩阵。因此准确的写法是 O(n²d) 而不是笼统的 O(n²)。这条推导的一般性结论是:只有序列长度 n 带来平方项,嵌入维度 d 只带来线性项。于是长上下文场景的对策是压 n(稀疏注意力、分块、线性近似、状态空间模型),而加宽模型压的是 d,代价要温和得多。它同时解释了为什么“把上下文从 4k 提到 128k”不是线性涨价,以及为什么解码阶段逐词元生成时无法在序列方向并行。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 附录 练习答案 · 查看原书依据

      自注意力机制的时间和空间复杂度是二次方的。更确切地说,我们可以将自注意力的时间和空间复杂度表达为,其中 是序列长度, 是序列中每个元素嵌入的维度。

    参考来源

    - 位置:《大模型技术30讲》附录 练习答案(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0040.xhtml) - 结论依据:第 16 章练习 16-1 的答案给出了 n×d 与 d×n 相乘、单对点积 d 次、共 n² 对的完整计数。 - 原始内容:自注意力机制的时间和空间复杂度是二次方的。更确切地说,我们可以将自注意力的时间和空间复杂度表达为,其中 是序列长度, 是序列中每个元素嵌入的维度。