返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 1780.b.1.a

并行聚类要按样本加权

理解等级:中级

书以KMeans说明MR迭代:Mapper把样本分配给当前最近中心,Reducer按簇汇总后重算中心。合并时应保存各簇坐标和与样本数,再用总和除以总数;直接平均不同分区的局部中心,在分区样本量不等时会得到错误结果。空簇处理与终止条件也需另外明确。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:范型与架构 · 查看原书依据

      图15-5 MR迭代计算模型 举例来说,对于并行KMeans聚类,全局参数就是K 个中心点,其以HDFS文件的形式存储,Map阶段将所有的待聚类数据划分成子集合,每个Mapper将自己负责的子集合内的数据分别指派到距离最近的中心点,即打上聚类标号。Reduce阶段收集各个Mapper的聚类结果,根据全局聚类结果重新计算新的K 个中心点,并将新的中心点更新写入HDFS文件中,如果终止条件未满足,会进行下一轮迭代。

    参考来源

    - 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html) - 结论依据:原文在本章对并行聚类要按样本加权给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:图15-5 MR迭代计算模型 举例来说,对于并行KMeans聚类,全局参数就是K 个中心点,其以HDFS文件的形式存储,Map阶段将所有的待聚类数据划分成子集合,每个Mapper将自己负责的子集合内的数据分别指派到距离最近的中心点,即打上聚类标号。Reduce阶段收集各个Mapper的聚类结果,根据全局聚类结果重新计算新的K 个中心点,并将新的中心点更新写入HDFS文件中,如果终止条件未满足,会进行下一轮迭代。