知识卡片

普通读书笔记卡 · 9908.f · 生成模型:Hunyuan

Spark MLlib并行训练局限

理解等级:高级

Spark MLlib 在数据规模大、模型复杂时会力不从心,原因有三。其一,每轮迭代都要广播全部参数,参数规模一大,广播与每节点维护权重副本都极耗带宽与内存。其二,梯度下降是同步阻断式的,必须等所有节点算完再逐层聚合,数据倾斜会让最慢节点拖住全局,这是效率低的根因。其三,标准库只支持标准 MLP,不支持 RNN、LSTM 等复杂结构,也无法灵活切换激活函数等大量超参。因此当追求更快训练速度与更灵活网络结构时,就需要转向 Parameter Server 或 TensorFlow 这类平台。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度学习推荐系统的工程实现 · 查看原书依据

      采用全局广播的方式,在每轮迭代前广播全部模型参数。众所周知,Spark的广播过程非常消耗带宽资源,特别是当模型的参数规模过大时,广播过程和在每个节点都维护一个权重参数副本的过程都是极消耗资源的,这导致Spark在面对复杂模型时的表现不佳。

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_002.html) - 结论依据:原文逐条列出全局广播耗带宽、阻断式梯度下降由最慢节点决定、以及不支持复杂网络结构与大量超参三大弊端,并据此引出后续平台。 - 原始内容:采用全局广播的方式,在每轮迭代前广播全部模型参数。众所周知,Spark的广播过程非常消耗带宽资源,特别是当模型的参数规模过大时,广播过程和在每个节点都维护一个权重参数副本的过程都是极消耗资源的,这导致Spark在面对复杂模型时的表现不佳。