知识卡片

专业/工作 · 9509.b · 生成模型:Tencent Hunyuan Hy

EM处理隐变量

理解等级:高级

EM 在隐变量未知时交替估计隐藏结构和优化参数,寻找局部最大似然。它适合聚类、HMM、混合模型等问题,但结果依赖初始化,不能保证全局最优。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 概率模型学习 20.3.1 无监督聚类:学习混合高斯 · 查看原书依据

      这里的问题在于我们既不知道数据点源自哪个分量,也不知道模型的参数。在这种情况下,EM的基本想法是假设我们知道模型的参数,然后推断每个数据点属于各个分量的概率。在该步骤后,我们重新使用数据拟合各个分量,其中每个分量的拟合都将用到整个数据集,每个数据点的权重由它属于该分量的概率给出。我们将重复这个过程直到算法收敛。

    参考来源

    - 位置:《人工智能:现代方法(第4版)(上下册)》第20章《概率模型学习》(源文件:`extracted/人工智能:现代方法(第4版)(上下册)/_epub-src/text/part0041_split_003.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:EM 在隐变量未知时交替估计隐藏结构和优化参数,寻找局部最大似然。原文从「20.3.1 无监督聚类:学习混合高斯」处给出对应机制与依据,支撑本卡结论。 - 原始内容:这里的问题在于我们既不知道数据点源自哪个分量,也不知道模型的参数。在这种情况下,EM的基本想法是假设我们知道模型的参数,然后推断每个数据点属于各个分量的概率。在该步骤后,我们重新使用数据拟合各个分量,其中每个分量的拟合都将用到整个数据集,每个数据点的权重由它属于该分量的概率给出。我们将重复这个过程直到算法收敛。