知识卡片
均值场与结构化变分推断
变分学习在受限的q分布族上最大化下界,限制往往体现为对q如何分解的假设。均值场令q=∏q(h_i|ν),把后验近似为各维独立;结构化变分推断则允许在q中选择任意图模型结构,用变量间相互作用的多少灵活调节近似程度。由于下界等于log p(ν)减去KL(q‖p(h|ν)),最大化它等价于最小化该KL;这里选KL(q‖p)而非最大似然的KL(p_data‖p_model),是为了让期望在简单的q下计算,而真实后验下的期望无法廉价设计。优化可用梯度下降,但内循环常用不动点方程快速求解,该方程等价于一个执行推断的循环神经网络;对二值稀疏编码,相消解释造成的峰值竞争体现为单元间相互抑制,均值场只能选一个峰。要点:变分法是设定分解方式再优化出分布,不预设具体参数化形式。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 近似推断 · 查看原书依据
一种常用的变分学习的方法是加入一些限制使得q是一个因子分布: 这被称为均值场 (mean-field)方法。更一般地说,我们可以通过选择分布q的形式来选择任何图模型的结构,通过选择变量之间相互作用的多少来灵活地决定近似程度的大小。
参考来源
- 位置:《深度学习》第19章 近似推断(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文讲解均值场与结构化变分推断的定义、KL方向的计算动机、不动点方程与循环神经网络的联系及衰减技巧。
- 原始内容:一种常用的变分学习的方法是加入一些限制使得q是一个因子分布: 这被称为均值场 (mean-field)方法。更一般地说,我们可以通过选择分布q的形式来选择任何图模型的结构,通过选择变量之间相互作用的多少来灵活地决定近似程度的大小。