知识卡片
并行聚类要按样本加权
书以KMeans说明MR迭代:Mapper把样本分配给当前最近中心,Reducer按簇汇总后重算中心。合并时应保存各簇坐标和与样本数,再用总和除以总数;直接平均不同分区的局部中心,在分区样本量不等时会得到错误结果。空簇处理与终止条件也需另外明确。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:范型与架构 · 查看原书依据
图15-5 MR迭代计算模型 举例来说,对于并行KMeans聚类,全局参数就是K 个中心点,其以HDFS文件的形式存储,Map阶段将所有的待聚类数据划分成子集合,每个Mapper将自己负责的子集合内的数据分别指派到距离最近的中心点,即打上聚类标号。Reduce阶段收集各个Mapper的聚类结果,根据全局聚类结果重新计算新的K 个中心点,并将新的中心点更新写入HDFS文件中,如果终止条件未满足,会进行下一轮迭代。
参考来源
- 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html)
- 结论依据:原文在本章对并行聚类要按样本加权给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:图15-5 MR迭代计算模型 举例来说,对于并行KMeans聚类,全局参数就是K 个中心点,其以HDFS文件的形式存储,Map阶段将所有的待聚类数据划分成子集合,每个Mapper将自己负责的子集合内的数据分别指派到距离最近的中心点,即打上聚类标号。Reduce阶段收集各个Mapper的聚类结果,根据全局聚类结果重新计算新的K 个中心点,并将新的中心点更新写入HDFS文件中,如果终止条件未满足,会进行下一轮迭代。