知识卡片
序列并行切分长序列
序列并行针对的是一个很具体的问题:Transformer 的自注意力要与序列长度做二次方运算,序列一长,单卡的激活和注意力矩阵就爆显存。
做法是把输入序列切成更小的块,分到不同 GPU 上,各自计算注意力中属于自己的部分。它切的是有序数据这一维,与张量并行(切模型内部矩阵)、数据并行(切样本)正交,因此理论上可以叠加使用。
代价有三个。第一,注意力本来要看到整个序列,切块会切断长距离依赖,长序列任务上精度可能下降;第二,它仍需每张卡持有一份模型副本,模型本身装不下时它救不了场;第三,块间需要通信与结果汇总,开销随实现方式变化。加上研究时间短、实现方案不统一,它目前更多是长序列场景的专项优化,而不是通用默认选项。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 多GPU训练模式 · 查看原书依据
如图7-3所示,序列并行方案将输入序列分割成更小的块,拆分到不同的GPU上,从而减少自注意力机制对计算内存的需求。
参考来源
- 位置:《大模型技术30讲》第7讲 多GPU训练模式(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0011.xhtml)
- 结论依据:原文 7.1.5 节说明序列并行把输入序列切块以降低自注意力的计算与内存需求,并列出破坏长距离依赖、需复制模型、精度下降与通信开销等缺点。
- 原始内容:如图7-3所示,序列并行方案将输入序列分割成更小的块,拆分到不同的GPU上,从而减少自注意力机制对计算内存的需求。