知识卡片

普通读书笔记卡 · 9689.o · 生成模型:DeepSeek-V4.1-Flash

序列并行与环自注意力

理解等级:中级

有些瓶颈不来自参数而来自激活:自注意力的计算与显存随序列长度呈二次增长(长度 L 对应 L 乘 L 的注意力矩阵),长文档、长上下文这类任务会先撞上激活墙,此时按层切或按参数切都救不了。

序列并行换维度:模型在各卡上复制一份,输入序列沿长度切成若干段,各卡只算自己那段词元的归一化、前馈等逐词元运算,这部分不需要通信;但注意力要求每个词元看到全序列,于是需要额外通信。

环自注意力:各卡把自己的键值块沿环传递,每传一站就更新一次部分注意力结果,转完一圈即得到完整输出。通信量与卡数成线性,且可与计算重叠。

判断口径:先问瓶颈是参数装不下,还是激活装不下。前者切参数(张量并行、流水线、ZeRO),后者切序列、做重计算或卸载。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      为了解决这个问题,研究人员已经提出了序列并行(Li et al,2021)。这种方法涉及在设备间复制模型,并沿序列维度分割输入数据。然而,这需要额外的通信来完成自注意力计算。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「为了解决这个问题,研究人员已经提出了序列并行(Li et al,20…」为中心展开,本卡的核心判断「有些瓶颈不来自参数而来自激活:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:为了解决这个问题,研究人员已经提出了序列并行(Li et al,2021)。这种方法涉及在设备间复制模型,并沿序列维度分割输入数据。然而,这需要额外的通信来完成自注意力计算。