← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1071.f · 生成模型:GPT-6(Codex)

辅助目标分布强化聚类置信度

理解等级:未标注

[[深度聚类的同步优化]]以软分配q构造目标p:先对qᵢⱼ平方,再除以该簇软频次fⱼ=Σᵢqᵢⱼ,最后在每个样本的簇维度归一。模型最小化KL(p‖q),并周期性重算目标,以强化高置信分配、缓和大簇主导。频次修正不可省略;自训练也可能强化错误初始分组,不能保证真实类别越来越纯。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 基于LSTM-Autoencoder的无监督聚类模型 12.3 SQLFlow中基于深度学习的聚类模型 · 查看原书依据

      下一步是同时改善聚类分配和特征表示,如代码清单12-17所示。为此,我们定义基于质心的目标概率分布,并针对模型聚类的结果最小化KL离散度。我们希望目标分布能够加强预测性能,即提高簇纯度,更加注重以高可信度分配的数据点,防止大型群集扭曲隐藏的特征空间。 代码清单12-17 聚类分配和调权 # 计算辅助目标分布 def target_distribution(q): weight = q ** 2 / q.sum(0) return (weight.T / weight.sum(1)).T 在辅助目标分布的帮助下,模型可以从高可信度分配中学习迭代优化聚类。迭代达到特定数量后,模型会更新目标分布,并输出目标分布和簇类之间的KL离散度。训练策略可以看作自我训练的一种形式,它采用初始分类器和未标记的数据集,同时通过分类器训练并完成高可信度预测,如代码清单12-18所示。

    参考来源

    - 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第12章 基于LSTM-Autoencoder的无监督聚类模型,12.3 SQLFlow中基于深度学习的聚类模型(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0068.xhtml) - 结论依据:原文给出target_distribution(q)中q平方、除簇频次和按样本归一的实际代码;本卡保留三个操作及自训练边界。 - 原始内容:下一步是同时改善聚类分配和特征表示,如代码清单12-17所示。为此,我们定义基于质心的目标概率分布,并针对模型聚类的结果最小化KL离散度。我们希望目标分布能够加强预测性能,即提高簇纯度,更加注重以高可信度分配的数据点,防止大型群集扭曲隐藏的特征空间。 代码清单12-17 聚类分配和调权 # 计算辅助目标分布 def target_distribution(q): weight = q ** 2 / q.sum(0) return (weight.T / weight.sum(1)).T 在辅助目标分布的帮助下,模型可以从高可信度分配中学习迭代优化聚类。迭代达到特定数量后,模型会更新目标分布,并输出目标分布和簇类之间的KL离散度。训练策略可以看作自我训练的一种形式,它采用初始分类器和未标记的数据集,同时通过分类器训练并完成高可信度预测,如代码清单12-18所示。