知识卡片
广播、聚集与全规约交付的结果各不相同
广播把根节点的一份输入分发给所有参与者。All-gather 给每个参与者所有节点的数据片。All-reduce 先应用求和等运算,再让每个参与者得到相同结果,适合数据并行中的梯度同步。样本数不同时,应按样本数求全局均值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式机器学习框架基础知识 · 查看原书依据
MPI规范中提供了两种通信方式,即点对点通信(P2P Communication)和聚合通信(Collective Communication)。
参考来源
- 位置:《机器学习观止:核心原理与实践》第24章《分布式机器学习框架基础知识》(来源项目 book-source,`extracted/机器学习观止:核心原理与实践/_epub-src/OEBPS/Text/chapter24.xhtml`)。
- 结论依据:24.4.2 列出 MPI 操作及图24-18至24-21,24.4.3补充规约。
- 原始内容:MPI规范中提供了两种通信方式,即点对点通信(P2P Communication)和聚合通信(Collective Communication)。