← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9908.e · 生成模型:Hunyuan

Spark MLlib数据并行训练

理解等级:中级

Spark MLlib 的并行训练走朴素的“数据并行”路线,并不涉及参数并行。以 mini batch 梯度下降为例,每轮迭代只做三件事:先把当前全部模型参数广播到各数据 Partition,各节点保留一份权重副本;接着各节点抽样出自己的 mini batch、分别算局部梯度,用 treeAggregate 以树形逐层汇总得到全局梯度;最后用全局梯度更新权重。treeAggregate 是 reduce 而非 shuffle,每层内部可以并行,因此汇总非常高效。这种方式简单直观、易于实现,但每轮广播参数和同步汇总也埋下了效率隐患。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度学习推荐系统的工程实现 · 查看原书依据

      Spark的mini batch过程只做了三件事: (1)把当前的模型参数广播到各个数据Partition(可当作虚拟的计算节点)。 (2)各计算节点进行数据抽样得到mini batch的数据,分别计算梯度,再通过treeAggregate操作汇总梯度

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_002.html) - 结论依据:原文给出精简后的 mini batch 三步过程,并说明 treeAggregate 是树形 reduce、不含 shuffle,因此整个汇总过程非常高效。 - 原始内容:Spark的mini batch过程只做了三件事: (1)把当前的模型参数广播到各个数据Partition(可当作虚拟的计算节点)。 (2)各计算节点进行数据抽样得到mini batch的数据,分别计算梯度,再通过treeAggregate操作汇总梯度