原书出处
大模型技术30讲
07 第7章 多GPU训练模式
机制并不受欢迎,截至本书撰写之时,大多数人仍更喜欢使用原来的缩放点积注意力机制。
如图7-3所示,序列并行方案将输入序列分割成更小的块,拆分到不同的GPU上,从而减少自注意力机制对计算内存的需求。
图7-3 序列并行将长序列拆分到不同的GPU上 序列并行与我们之前讨论的多GP
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0011.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec