← 返回刚才阅读的位置

知识卡片

结构图卡 · 9833.o · 生成模型:DeepSeek-V4.1-Flash

EM 抬高似然的下界

理解等级:高级

GMM 的难点在于:每个样本属于哪个高斯是未知的(隐变量)。若知道归属,就能直接算出各成分的均值和方差;若知道参数,就能算出归属。这正是”鸡生蛋”结构,而 EM 就是破解它的标准手法。

直接最大化对数似然 L(θ) 很难,因为里面含隐变量 z 求和后的对数。EM 换了个目标:给 L(θ) 找一个下界 q(θ),然后不断把这个下界抬高。抬高下界自然抬高 L,且每一步都能算。

  • E 步(Expectation):固定当前参数 θ,为每个样本计算隐变量的后验概率 q(z_i) = p(z_i | x_i; θ),即”在当前模型下,这个样本有多大概率属于第 k 个成分”。取后验时 Jensen 不等式恰好取等号,于是 q(θ) 在 θ 处与 L(θ) 相切——这是”下界”最紧的时刻。
  • M 步(Maximization):固定 q,把下界当作目标函数,用任意优化方法(甚至解析解)求使下界最大的新参数 θ。

两步交替,L(θ) 单调不降,直到参数或似然变化小于阈值。这条”E 定下界、M 抬下界”的循环也解释了它的局限:只保证爬到最近的局部峰,起点不好就停在坏解上。

落到 GMM 上,E 步是算后验(软归属),M 步是用后验概率作权重,加权重算各成分的均值、协方差和权重 π_k——这与 K-Means”分配—用均值更新”的骨架同构,区别是 EM 保留概率而非压成 0/1。

结构图:

flowchart TD
    A[初始化参数 θ0] --> B[E 步: 算隐变量后验 q]
    B --> C[下界在 θ 处与似然相切]
    C --> D[M 步: 最大化下界更新 θ]
    D --> E{参数/似然收敛?}
    E -- 否 --> B
    E -- 是 --> F[输出参数 θ]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 聚类 12.6.2 EM算法 · 查看原书依据

      经过“E步”后我们就可以确定出L(θ)的下界,然后,下一步只要不断最大化这个下界(可以使用任意最优化算法)就可以使L(θ)逐渐变到最优,因此下一步称为“M步”。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第12章《第12章 聚类》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00015.html) - 结论依据:原文指出 EM 的关键是找到似然函数的下界并不断最大化该下界,用 Jensen 不等式推出等号成立条件即取后验概率(E 步),再最大化下界(M 步),并给出 GMM 参数的 EM 学习流程。 - 原始内容:其关键之处在于找到L(θ)的一个下界(假设为q(θ)),然后通过不断最大化这个下界来近似得到L(θ)的最大值。……经过“E步”后我们就可以确定出L(θ)的下界,然后,下一步只要不断最大化这个下界(可以使用任意最优化算法)就可以使L(θ)逐渐变到最优,因此下一步称为“M步”。