返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2829.b

同步宽松度

理解等级:未标注

BSP、SSP、ASP体现的是一致性约束逐步放松:同步越严格,模型状态越清楚但慢节点拖累越大;越异步,吞吐越高但陈旧梯度更容易伤害收敛。选哪种协议,就是在收敛稳定性与系统效率之间取舍。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第1章《分布式机器学习》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_008.html) - 结论依据:原文把迭代控制分为 BSP、SSP、ASP,并说明同步限制按顺序放宽,因此可推出协议选择是在一致性和效率之间取舍。 - 原始内容:题都可以转化为迭代任务。一般来说对于迭代控制有三个级别的通信控制协议:BSP(Bulk Synchronous Parallel)协议、SSP(Staleness Synchronous Parallel)协议和ASP(Asynchronous Parallel),其同步限制按照顺序依次放宽。三个协