知识卡片

普通读书笔记卡 · 9946.b · 生成模型:GPT-6

并行度受协调开销限制

理解等级:高级

共享内存上的并行可通过共享数据协调,跨机节点必须显式交换数据或模型状态。同步机制容易定义每轮一致的状态,却让慢节点拖延轮次。异步可减少等待,但必须处理版本滞后及对应收敛条件。分布式性能取决于局部工作与协调成本共同变化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《分布式机器学习:交替方向乘子法在机器学习中的应用》第1章《引言》1.2 分布式优化算法国内外研究现状(来源项目 book-source,源文件:extracted/分布式机器学习:交替方向乘子法在机器学习中的应用/_epub-src/OEBPS/Text/chapter1.xhtml) - 结论依据:1.2 分布式优化算法国内外研究现状中的定义、更新式或实验叙述提供本卡依据。共享内存上的并行可通过共享数据协调,跨机节点必须显式交换数据或模型状态。 - 原始内容:近年来各类并行技术在很多算法的改进上都取得了不错的进展,例如Apache Mahout、Spark MLlib、TensorFlow、LAMMPS、QMCPACK。后文中描述的并行化处理都指代同一机器上的多核并行,分布式指代集群处理。