知识卡片

普通读书笔记卡 · 1780.a.1

异步消除逐轮屏障

理解等级:中级

异步训练允许不同工作者独立读取和更新参数,不必在每轮等待全体。它消除的是全局迭代屏障,并非消除参数服务、并发访问和通信协议。工作者使用陈旧参数可能影响优化轨迹;是否可收敛及是否更快,要结合算法假设和实际陈旧度判断。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:范型与架构 · 查看原书依据

      2.异步范型 异步范型与同步范型相反,并发程序之间不需要任何数据同步过程(见图15-3),任意时刻每个并发程序都可以对全局参数进行读取和更新,这样做的好处是计算资源利用率高且整体任务的执行速度快,但是其对应的缺陷是:如果某些程序因为特殊原因(机器负载高或者硬件故障等)在迭代轮数上严重落后于其他程序,则可能会造成最终的计算结果不正确,即程序的正确性无法获得保证。

    参考来源

    - 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html) - 结论依据:原文在本章对异步消除逐轮屏障给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:2.异步范型 异步范型与同步范型相反,并发程序之间不需要任何数据同步过程(见图15-3),任意时刻每个并发程序都可以对全局参数进行读取和更新,这样做的好处是计算资源利用率高且整体任务的执行速度快,但是其对应的缺陷是:如果某些程序因为特殊原因(机器负载高或者硬件故障等)在迭代轮数上严重落后于其他程序,则可能会造成最终的计算结果不正确,即程序的正确性无法获得保证。