知识卡片
EM算法的坐标上升
EM是最大化下界的经典算法,严格说它学习的是近似后验而非近似推断。它交替两步直到收敛:E步固定当前参数θ,令q(h|ν)=p(h|ν;θ),即把q设成当前真实后验,使KL为零、下界贴住log p;M步固定q并对参数最大化下界。这相当于对参数与分布做坐标上升。随机梯度上升可视为M步只走一次梯度的特例,某些模型族M步有解析解。E步虽用精确推断,但M步沿用旧q、参数远离θ时会拉开下界与真实log p的差距,下一轮E步又将其归零。要点:EM把推断与学习拆成两个坐标更新,每步都不降低下界;深度模型中因缺乏大M步解析解,第二个特质较少被使用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 近似推断 · 查看原书依据
EM算法还包含一些不同的见解。首先,它包含了学习过程的一个基本框架,就是我们通过更新模型参数来提高整个数据集的似然,其中缺失变量的值是通过后验分布来估计的。这种特定的性质并非EM算法独有的。
参考来源
- 位置:《深度学习》第19章 近似推断(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文描述E步与M步的定义、坐标上升视角,以及旧q假设造成的差距与下一轮复位。
- 原始内容:EM算法还包含一些不同的见解。首先,它包含了学习过程的一个基本框架,就是我们通过更新模型参数来提高整个数据集的似然,其中缺失变量的值是通过后验分布来估计的。这种特定的性质并非EM算法独有的。