知识卡片
异步消除逐轮屏障
异步训练允许不同工作者独立读取和更新参数,不必在每轮等待全体。它消除的是全局迭代屏障,并非消除参数服务、并发访问和通信协议。工作者使用陈旧参数可能影响优化轨迹;是否可收敛及是否更快,要结合算法假设和实际陈旧度判断。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:范型与架构 · 查看原书依据
2.异步范型 异步范型与同步范型相反,并发程序之间不需要任何数据同步过程(见图15-3),任意时刻每个并发程序都可以对全局参数进行读取和更新,这样做的好处是计算资源利用率高且整体任务的执行速度快,但是其对应的缺陷是:如果某些程序因为特殊原因(机器负载高或者硬件故障等)在迭代轮数上严重落后于其他程序,则可能会造成最终的计算结果不正确,即程序的正确性无法获得保证。
参考来源
- 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html)
- 结论依据:原文在本章对异步消除逐轮屏障给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:2.异步范型 异步范型与同步范型相反,并发程序之间不需要任何数据同步过程(见图15-3),任意时刻每个并发程序都可以对全局参数进行读取和更新,这样做的好处是计算资源利用率高且整体任务的执行速度快,但是其对应的缺陷是:如果某些程序因为特殊原因(机器负载高或者硬件故障等)在迭代轮数上严重落后于其他程序,则可能会造成最终的计算结果不正确,即程序的正确性无法获得保证。