知识卡片
深度聚类的同步优化
传统做法是先做特征提取/降维,再对提取出的特征跑一次K均值聚类,两步互不影响。基于[[自编码器的压缩与重建]]的深度嵌入聚类模型则先用自编码器预训练出初始特征、再用K均值给出初始聚类中心,之后把聚类质心也变成可训练的参数,和特征表示一起用反向传播同步优化——特征表示的调整会让聚类更容易分开,聚类信号反过来又引导特征往更利于分类的方向收敛,两者互相促进而不是割裂的两个阶段。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 基于LSTM-Autoencoder的无监督聚类模型 12.3 SQLFlow中基于深度学习的聚类模型 · 查看原书依据
与数据空间和浅线性嵌入空间不同,SQLFlow中的聚类模型采用反向传播随机梯度下降学习映射,并通过深度神经网络对映射进行参数化操作。不同于有监督学习模型,SQLFlow不使用标记数据训练深度网络,而是从当前聚类划分中提取辅助目标分布,然后同步优化聚类和特征表示,因此这种基于深度神经网络的聚类在完成聚类分配的同时能够很好地完成特征表示。图12-12是SQLFlow聚类模型的整体架构,该模型主要包括4个部分:预训练层、聚类层定义、初始化聚类
参考来源
- 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第12章 基于LSTM-Autoencoder的无监督聚类模型,12.3 SQLFlow中基于深度学习的聚类模型(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0068.xhtml)
- 结论依据:原文明确"SQLFlow不使用标记数据训练深度网络,而是从当前聚类划分中提取辅助目标分布,然后同步优化聚类和特征表示,因此这种基于深度神经网络的聚类在完成聚类分配的同时能够很好地完成特征表示",并说明模型先用K均值"初始化群集中心"再用聚类层"改善聚类分配和特征表示"。
- 原始内容:与数据空间和浅线性嵌入空间不同,SQLFlow中的聚类模型采用反向传播随机梯度下降学习映射,并通过深度神经网络对映射进行参数化操作。不同于有监督学习模型,SQLFlow不使用标记数据训练深度网络,而是从当前聚类划分中提取辅助目标分布,然后同步优化聚类和特征表示,因此这种基于深度神经网络的聚类在完成聚类分配的同时能够很好地完成特征表示。图12-12是SQLFlow聚类模型的整体架构,该模型主要包括4个部分:预训练层、聚类层定义、初始化聚类