知识卡片

普通读书笔记卡 · 2838.c

模型转换

理解等级:未标注

PipeDream 的模型转换把抽象分区落成可执行代码:同一 stage 的算子被打包成独立 torch.nn.Module,同时保持原模型输入输出依赖。自动并行最终必须回到可部署模块。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第10章《PipeDream之基础架构》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_054.html) - 结论依据:原文说明 Convert Model 阶段用 BFS 遍历算子图,为每个 stage 生成独立 torch.nn.Module 代码并保持依赖一致。 - 原始内容:• 模型转换(Convert Model)阶段:对算子图执行BFS(广度优先搜索算法)遍历,为每个stage生成一段独立的torch.nn.Module代码。PipeDream对每个stage中的算子进行排序,以确保它们保持与原始PyTorch模型图的输入/输出依赖关系一致。