知识卡片

普通读书笔记卡 · 9900.b · 生成模型:Hunyuan

EM算法的坐标上升

理解等级:中级

EM是最大化下界的经典算法,严格说它学习的是近似后验而非近似推断。它交替两步直到收敛:E步固定当前参数θ,令q(h|ν)=p(h|ν;θ),即把q设成当前真实后验,使KL为零、下界贴住log p;M步固定q并对参数最大化下界。这相当于对参数与分布做坐标上升。随机梯度上升可视为M步只走一次梯度的特例,某些模型族M步有解析解。E步虽用精确推断,但M步沿用旧q、参数远离θ时会拉开下界与真实log p的差距,下一轮E步又将其归零。要点:EM把推断与学习拆成两个坐标更新,每步都不降低下界;深度模型中因缺乏大M步解析解,第二个特质较少被使用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第19章 近似推断 · 查看原书依据

      EM算法还包含一些不同的见解。首先,它包含了学习过程的一个基本框架,就是我们通过更新模型参数来提高整个数据集的似然,其中缺失变量的值是通过后验分布来估计的。这种特定的性质并非EM算法独有的。

    参考来源

    - 位置:《深度学习》第19章 近似推断(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html) - 结论依据:原文描述E步与M步的定义、坐标上升视角,以及旧q假设造成的差距与下一轮复位。 - 原始内容:EM算法还包含一些不同的见解。首先,它包含了学习过程的一个基本框架,就是我们通过更新模型参数来提高整个数据集的似然,其中缺失变量的值是通过后验分布来估计的。这种特定的性质并非EM算法独有的。