知识卡片

操作参考卡 · 5443.c

按阶段混合MR与MPI

理解等级:中级

并行谱聚类可把非迭代的相似矩阵构建交给MR,把矩阵分块后的特征对求解交给MPI环境的PARPACK,再并行执行低维K-means。各阶段算子形态不同,复用一个框架未必最省成本;还需计入矩阵重分布、格式转换和同步开销。原文给出架构方案,不是已执行的部署流程。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:分布式算法 · 查看原书依据

      我们可以考虑构造一个混合了MapReduce和MPI的并行计算机制来对上述三个关键步骤进行并行化改造。对于相似矩阵S 的构建,因其计算的非迭代性,可以考虑使用MapReduce采取类似于16.4节叙述的方法来完成;对于求解拉普拉斯矩阵L 的特征向量,可以考虑将矩阵按照行进行分块后,利用PARPACK工具来对矩阵进行分布式计算,PARPACK是矩阵计算工具ARPACK的分布式版本,采用其在MPI环境下可以对大规模矩阵进行相关计算来求解拉普拉斯矩阵的特征向量;至于K-means聚类,则可以按照15.2.2节所讲述的MapReduce机制计算K-means来解决,也可以按照15.2.2节所述的基本思想将其改造为MPI环境下的分布式K-means算法。在此不再赘述具体的实现思路,读者可以当作习题思考一下。

    参考来源

    - 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落145,OEBPS/text00021.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:我们可以考虑构造一个混合了MapReduce和MPI的并行计算机制来对上述三个关键步骤进行并行化改造。对于相似矩阵S 的构建,因其计算的非迭代性,可以考虑使用MapReduce采取类似于16.4节叙述的方法来完成;对于求解拉普拉斯矩阵L 的特征向量,可以考虑将矩阵按照行进行分块后,利用PARPACK工具来对矩阵进行分布式计算,PARPACK是矩阵计算工具ARPACK的分布式版本,采用其在MPI环境下可以对大规模矩阵进行相关计算来求解拉普拉斯矩阵的特征向量;至于K-means聚类,则可以按照15.2.2节所讲述的MapReduce机制计算K-means来解决,也可以按照15.2.2节所述的基本思想将其改造为MPI环境下的分布式K-means算法。在此不再赘述具体的实现思路,读者可以当作习题思考一下。