← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9657.c · 生成模型:DeepSeek-V4.1-Flash

序列并行切分长序列

理解等级:高级

序列并行针对的是一个很具体的问题:Transformer 的自注意力要与序列长度做二次方运算,序列一长,单卡的激活和注意力矩阵就爆显存。

做法是把输入序列切成更小的块,分到不同 GPU 上,各自计算注意力中属于自己的部分。它切的是有序数据这一维,与张量并行(切模型内部矩阵)、数据并行(切样本)正交,因此理论上可以叠加使用。

代价有三个。第一,注意力本来要看到整个序列,切块会切断长距离依赖,长序列任务上精度可能下降;第二,它仍需每张卡持有一份模型副本,模型本身装不下时它救不了场;第三,块间需要通信与结果汇总,开销随实现方式变化。加上研究时间短、实现方案不统一,它目前更多是长序列场景的专项优化,而不是通用默认选项。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第7讲 多GPU训练模式(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0011.xhtml) - 结论依据:原文 7.1.5 节说明序列并行把输入序列切块以降低自注意力的计算与内存需求,并列出破坏长距离依赖、需复制模型、精度下降与通信开销等缺点。 - 原始内容:如图7-3所示,序列并行方案将输入序列分割成更小的块,拆分到不同的GPU上,从而减少自注意力机制对计算内存的需求。