知识卡片
辅助目标分布强化聚类置信度
[[深度聚类的同步优化]]以软分配q构造目标p:先对qᵢⱼ平方,再除以该簇软频次fⱼ=Σᵢqᵢⱼ,最后在每个样本的簇维度归一。模型最小化KL(p‖q),并周期性重算目标,以强化高置信分配、缓和大簇主导。频次修正不可省略;自训练也可能强化错误初始分组,不能保证真实类别越来越纯。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 基于LSTM-Autoencoder的无监督聚类模型 12.3 SQLFlow中基于深度学习的聚类模型 · 查看原书依据
下一步是同时改善聚类分配和特征表示,如代码清单12-17所示。为此,我们定义基于质心的目标概率分布,并针对模型聚类的结果最小化KL离散度。我们希望目标分布能够加强预测性能,即提高簇纯度,更加注重以高可信度分配的数据点,防止大型群集扭曲隐藏的特征空间。 代码清单12-17 聚类分配和调权 # 计算辅助目标分布 def target_distribution(q): weight = q ** 2 / q.sum(0) return (weight.T / weight.sum(1)).T 在辅助目标分布的帮助下,模型可以从高可信度分配中学习迭代优化聚类。迭代达到特定数量后,模型会更新目标分布,并输出目标分布和簇类之间的KL离散度。训练策略可以看作自我训练的一种形式,它采用初始分类器和未标记的数据集,同时通过分类器训练并完成高可信度预测,如代码清单12-18所示。
参考来源
- 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第12章 基于LSTM-Autoencoder的无监督聚类模型,12.3 SQLFlow中基于深度学习的聚类模型(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0068.xhtml)
- 结论依据:原文给出target_distribution(q)中q平方、除簇频次和按样本归一的实际代码;本卡保留三个操作及自训练边界。
- 原始内容:下一步是同时改善聚类分配和特征表示,如代码清单12-17所示。为此,我们定义基于质心的目标概率分布,并针对模型聚类的结果最小化KL离散度。我们希望目标分布能够加强预测性能,即提高簇纯度,更加注重以高可信度分配的数据点,防止大型群集扭曲隐藏的特征空间。 代码清单12-17 聚类分配和调权 # 计算辅助目标分布 def target_distribution(q): weight = q ** 2 / q.sum(0) return (weight.T / weight.sum(1)).T 在辅助目标分布的帮助下,模型可以从高可信度分配中学习迭代优化聚类。迭代达到特定数量后,模型会更新目标分布,并输出目标分布和簇类之间的KL离散度。训练策略可以看作自我训练的一种形式,它采用初始分类器和未标记的数据集,同时通过分类器训练并完成高可信度预测,如代码清单12-18所示。