知识卡片
三种同步范型
内容
同步范型正确性强但快等慢；异步范型吞吐高但可能读到陈旧参数；部分同步限制落后程度，在速度和收敛之间折中。训练框架的核心就是管理这种陈旧度。
参考来源
- 位置：《大数据日知录：架构与算法》第15章《机器学习：范型与架构》"分布式机器学习的三种计算范型"一节（源文件：_epub-src/OEBPS/text00020.html）
- 结论依据：原文明确同步范型"必然形成快等慢的局面，造成计算资源的浪费"；异步范型"计算资源利用率高且整体任务的执行速度快，但是……如果某些程序……严重落后于其他程序，则可能会造成最终的计算结果不正确"；部分同步范型"兼具同步范型和异步范型的优点……既能在很大程度上保证程序的正确性，也可以以较快的速度完成任务"。
- 原始内容：如果每轮迭代都需要进行同步，必然形成快等慢的局面，造成计算资源的浪费……异步范型……计算资源利用率高且整体任务的执行速度快，但是其对应的缺陷是：如果某些程序……在迭代轮数上严重落后于其他程序，则可能会造成最终的计算结果不正确……部分同步范型……既能在很大程度上保证程序的正确性，也可以以较快的速度完成任务。