原书出处
大数据日知录_架构与算法
16 机器学习:分布式算法
我们可以考虑构造一个混合了MapReduce和MPI的并行计算机制来对上述三个关键步骤进行并行化改造。对于相似矩阵S 的构建,因其计算的非迭代性,可以考虑使用MapReduce采取类似于16.4节叙述的方法来完成;对于求解拉普拉斯矩阵L 的特征向量,可以考虑将矩阵按照行进行分块后,利用PARPACK工具来对矩阵进行分布式计算,PARPACK是矩阵计算工具ARPACK的分布式版本,采用其在MPI环境下可以对大规模矩阵进行相关计算来求解拉普拉斯矩阵的特征向量;至于K-means聚类,则可以按照15.2.2节所讲述的MapReduce机制计算K-means来解决,也可以按照15.2.2节所述的基本思想将其改造为MPI环境下的分布式K-means算法。在此不再赘述具体的实现思路,读者可以当作习题思考一下。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d