知识卡片

普通读书笔记卡 · 2840.a

列行线性层

理解等级:未标注

Megatron 的 MLP 切分利用矩阵乘的结合关系:ColumnParallelLinear 处理 H 到 4H 的列切分,RowParallelLinear 处理 4H 到 H 的行切分,中间省掉不必要通信。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第12章《Megatron》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_065.html) - 结论依据:原文说明 ColumnParallelLinear 实现 MLP 前半部分,RowParallelLinear 实现后半部分,并可省略中间通信。 - 原始内容:• ColumnParallelLinear类实现了MLP的前半部分或者考虑了此线性层独立使用的情况。可以认为是图12-13中“最新方案”的第一行。• RowParallelLinear类实现了MLP的后半部分或者考虑了此线性层独立使用的情况。可以认为是图12-13中“最新方案”的第二行。