知识卡片

普通读书笔记卡 · 2842.b

本地子模型优化

理解等级:未标注

模型并行优化器必须跟随参数所在位置:哪个节点持有哪段模块,哪个本地优化器就更新哪段参数。它更像分布式所有权管理,而不是简单把梯度平均。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第14章《分布式优化器》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_082.html) - 结论依据:原文说明 PipeDream 每个 Worker 启动全部代码,但本地优化器只优化本地模块参数。 - 原始内容:最后我们来看PipeDream如何实现分布式优化器。其主要思路是:PipeDream在每个Worker之上启动全部代码,因为每个节点的模块(类型为torch.nn.Module)不同,所以每个本地优化器的待优化参数是本地模块的参数,每个节点优化自己负责的部分模块。