知识卡片
并行度受协调开销限制
共享内存上的并行可通过共享数据协调,跨机节点必须显式交换数据或模型状态。同步机制容易定义每轮一致的状态,却让慢节点拖延轮次。异步可减少等待,但必须处理版本滞后及对应收敛条件。分布式性能取决于局部工作与协调成本共同变化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第1章 引言
原书出处 · 1 处
- 引言 1.2 分布式优化算法国内外研究现状 · 查看原书依据
近年来各类并行技术在很多算法的改进上都取得了不错的进展,例如Apache Mahout、Spark MLlib、TensorFlow、LAMMPS、QMCPACK。后文中描述的并行化处理都指代同一机器上的多核并行,分布式指代集群处理。
参考来源
- 位置:《分布式机器学习:交替方向乘子法在机器学习中的应用》第1章《引言》1.2 分布式优化算法国内外研究现状(来源项目 book-source,源文件:extracted/分布式机器学习:交替方向乘子法在机器学习中的应用/_epub-src/OEBPS/Text/chapter1.xhtml)
- 结论依据:1.2 分布式优化算法国内外研究现状中的定义、更新式或实验叙述提供本卡依据。共享内存上的并行可通过共享数据协调,跨机节点必须显式交换数据或模型状态。
- 原始内容:近年来各类并行技术在很多算法的改进上都取得了不错的进展,例如Apache Mahout、Spark MLlib、TensorFlow、LAMMPS、QMCPACK。后文中描述的并行化处理都指代同一机器上的多核并行,分布式指代集群处理。