知识卡片
三种同步范型
严格同步在每轮设屏障,快任务等待慢任务;异步允许工作者独立推进并使用尚未包含全部最新更新的参数;部分同步为陈旧度设界,超过界限才等待。三者改变等待和信息新鲜度,收敛仍取决于具体算法、步长等条件,并非同步就自动正确、异步就必然更快。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:范型与架构 · 查看原书依据
1.同步范型 对于迭代式计算任务,根据并发进程或线程之间是否需要进行数据同步,可以将其划分为同步范型和异步范型。同步范型如图15-2所示,在严格同步范型中,并发程序每一轮迭代都需要在相互之间进行数据同步,图中分割开不同的程序在各个迭代阶段的竖线即为同步点。 图15-2 同步范型 如果单机版的机器学习任务可以保证其正确性和收敛性,那么同步范型也可以做到这一点,但是为此付出的代价是:每个并发程序在各个迭代阶段执行的进度不统一,如果每轮迭代都需要进行同步,必然形成快等慢的局面,造成计算资源的浪费,而且这种方式的网络通信量较多,这也会整体拖慢任务的执行进度。
参考来源
- 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html)
- 结论依据:原文在本章对三种同步范型给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:1.同步范型 对于迭代式计算任务,根据并发进程或线程之间是否需要进行数据同步,可以将其划分为同步范型和异步范型。同步范型如图15-2所示,在严格同步范型中,并发程序每一轮迭代都需要在相互之间进行数据同步,图中分割开不同的程序在各个迭代阶段的竖线即为同步点。 图15-2 同步范型 如果单机版的机器学习任务可以保证其正确性和收敛性,那么同步范型也可以做到这一点,但是为此付出的代价是:每个并发程序在各个迭代阶段执行的进度不统一,如果每轮迭代都需要进行同步,必然形成快等慢的局面,造成计算资源的浪费,而且这种方式的网络通信量较多,这也会整体拖慢任务的执行进度。