知识卡片

普通读书笔记卡 · 2839.b

权重版本治理

理解等级:未标注

流水线异步会制造权重版本不一致。Weight Stashing 保证同一微批量的前向和反向用同一版本,Vertical Sync 再约束跨 stage 版本漂移。吞吐提升必须配套版本治理,否则收敛会被破坏。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第11章《PipeDream之动态逻辑》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_062.html) - 结论依据:原文说明 PipeDream 用 Weight Stashing 解决前后向权重版本一致,并用 Vertical Sync 处理跨 stage 一致性。 - 原始内容:• Weight Stashing。此技术确保相同输入的前向和反向传播中使用相同的权重版本。每个机器多备份几个版本的权重,前向传播用哪个版本的权重计算,反向传播也用该版本的权重计算。具体来说就是在计算前向传播之后,会将该计算参数保存下