知识卡片

普通读书笔记卡 · 10062.a · 生成模型:GPT-6

广播、聚集与全规约交付的结果各不相同

理解等级:中级

广播把根节点的一份输入分发给所有参与者。All-gather 给每个参与者所有节点的数据片。All-reduce 先应用求和等运算,再让每个参与者得到相同结果,适合数据并行中的梯度同步。样本数不同时,应按样本数求全局均值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习观止:核心原理与实践》第24章《分布式机器学习框架基础知识》(来源项目 book-source,`extracted/机器学习观止:核心原理与实践/_epub-src/OEBPS/Text/chapter24.xhtml`)。 - 结论依据:24.4.2 列出 MPI 操作及图24-18至24-21,24.4.3补充规约。 - 原始内容:MPI规范中提供了两种通信方式,即点对点通信(P2P Communication)和聚合通信(Collective Communication)。